作为一个长期深耕新科技领域的专业刑事律师团队，我们在实务中发现，如今生成式人工智能（简称“AIGC”）正在被越来越广泛且肆无忌惮的被用于网络性犯罪中。

我们如今所看到的AIGC受害者们，很可能只是庞大犯罪的冰山一角......

今天，飒姐团队就通过近期在我国互联网上引发舆论浪潮的邻国女性“被AI换脸求助案”，与大家谈谈人工智能与犯罪之间的红线，以及技术使用的伦理边界。

01

韩国N号房事件再现

“N号房”指的是2020年震惊全球社会的一起韩国严重网络性犯罪案件，嫌犯赵主彬化名“博士”，通过“找模特”等借口，在推特（现在叫“X”）或者Line上发布招聘广告，诱骗了大量的韩国在校女学生或是刚刚进入工作岗位的女员工，以欺骗、胁迫、PUA等手段，强迫受害们在网上与自己“裸聊”“做任务”，并录制了数量极其庞大的色情视频。

赵主彬获得这些色情视频后，通过Telegram建立了多个秘密聊天房间，将大量的色情视频以有偿的方式，发布到会员群中。据后续调查，曾经加入过房间并查阅过这些色情视频的用户多达26万人，赵主彬通过该种方式，每天获利曾高达数十万元人民币之多。

此案一出，震动全球社会，韩国猖獗的网络性犯罪市场被暴露在公众视野下，在打击此类犯罪的过程中，推动韩国出台了一系列性犯罪预防法案，此案以赵主彬最终被定罪处刑而落幕。

谁也没想到，4年后，N号房事件会以这样的方式重回公众视野：2024年8月29日，一则韩国女生发布的微博称，韩国女性和儿童深陷被身边人利用deepfake技术生成淫秽色情信息的危险之中。

该博文已有7.6万次转发，发布者yeon0829关注者超过2万。

这场性犯罪依然是通过telegram聊天室实施的。

聊天室内设置有可以生成deepfake内容的机器人，进入聊天室后，用户发送女性的照片就能获得生成的虚假情色内容，通过付费或邀请朋友进入可以获得更多的生成额度——一种简单粗暴但被证明极其有效的盈利模式。去年以来。韩国互联网深度伪造技术性剥削物泛滥，以至于全球网络中相关产物的人物形象中韩国女性占比超过一半。

据《韩民族日报》报道，一个此类Telegram 聊天室超过22.7 万人参与；在X上，志愿者自发创建的深度伪造受害学校清单涉及超过500所学校。在这一事件在中文互联网舆论爆发之前，今年5月首尔大学、仁荷大学等韩国高校学生为主犯的deepfake事件已经引起局部关注，审判尚未结束，一系列事件被合称为「N号房2.0」。

在大洋彼岸，Telegram的创始人帕维尔·杜洛夫（Pavel Durov）于法国被捕，据《纽约时报》报道，法国当局曾要求Telegram协助调查一起涉及儿童性虐待材料的案件，帮助识别其中一名用户的身份，而Telegram并没有回应这一要求。

面对韩国女性的抗议和社会恐慌，9月2日，韩国警察厅国家搜查本部本部长禹钟寿在例行记者会上表示，警方以涉嫌帮助深度伪造性犯罪为由着手对社交媒体Telegram实施立案前调查，但也表示该公司在提供账户信息等涉案资料方面不积极配合。

02

技术魔盒：难以遏制的AI犯罪

随着AI技术的发展成熟，近年来利用人工智能技术从事违法犯罪活动的案例愈来愈多。Deepfake早期被用于政治场合，例如美国大选和各级地区选举时就时常出现deepfake产出的有关领导人人的虚假内容搅动时局或造梗。

就在今年年初，X上有关Taylor Swift的AI生成的不雅照片就引起了全球的激烈讨论，一度引发白宫方面回应deepfake监管问题。但是，这一次deepfake以性犯罪的方式深入到了所有普通人的生活中。

据韩联社报道，从今年1月1日至8月25日，向数字性犯罪受害者支援中心请求帮助的受害者共有781人，其中19岁以下未成年人有288人，在受害者总数中占36.9%。截至8月25日，向该中心请求帮助的未成年人受害者从2022年的64人增至2024年的288人，仅2年增加3.5倍，增幅高于同期请求帮助的受害者总人数的增幅（2.7倍）。

在我国类似的案例也时有出现，例如，最高检转载过浙江省一起涉及“AI换脸”的公益诉讼案件，案中行为人利用“AI换脸”软件，制作生成虚假的换脸淫秽视频在网络社交软件上进行传播，并在社交软件上创建了多个群组为他人提供换脸视频定制服务，还在网络社交软件上销售“AI换脸”软件、提供换脸素材并传授使用教程，最终被检察院以涉嫌制作、传播淫秽物品牟利罪提起公诉。

从刑法的角度看，生成虚假淫秽色情内容、利用网络社群传播并牟利，如果在我国，涉嫌《刑法》第363条“制作、复制、出版、贩卖、传播淫秽物品牟利罪”、第364条“传播淫秽物品罪”、第246条的侮辱罪和诽谤罪等罪。

对于类似韩国这种在电报群里会员制分享淫秽色情制品的行为，《两高关于传播淫秽电子信息犯罪行为司法解释》第三条有明确规定：利用互联网建立主要用于传播淫秽电子信息的群组，成员达三十人以上或者造成严重后果的，对建立者、管理者和主要传播者，依照刑法第三百六十四条第一款的规定，以传播淫秽物品罪定罪处罚。

同时因侵犯肖像权、名誉权，行为人也面临民事的侵权损害赔偿，相关社交媒体会受到互联网监管机构的行政处罚。——但是，对于社会性的AI换脸网络性犯罪浪潮，问题并没有那么容易解决，这种犯罪手法可谓是踩中了AI、互联网、性犯罪三项监管的薄弱之处而得以泛滥。

1

AI的监管困难

生成式人工智能应用中涉及的侵权形态与传统责任机制的偏离。首先，作为AI生成素材的内容如果是受害人自行发布在社交媒体上的，则很难被认定为侵犯隐私权；加之deepfake生成的内容是虚假的，脸部形象本身具有一定公共属性且自然属性为露出状态，通过隐私权保护面部信息存在争议。

利用肖像权、个人信息权保护脸部信息时，一方面这些权利很可能被网络平台通过用户协议获取，另一方面一些国家和地区对侵犯肖像权要求有营利目的。美国的一些州尝试通过著作权法来解决AI换脸的定性，认为AI换脸和传播侵犯了原发布者的网络信息网络传播权、修改权、保护作品完整权等权利；同时侵犯名誉权乃至侮辱罪、诽谤罪等罪名也是对抗AI换脸的可行路径。但综合而言，对于生成式人工智能的监管尚未精细化，其中的技术问题和法律问题尚未解决，事前的有效防范方案有待提出。

2

网络犯罪的定罪困难

互联网私域社群的存在对救济和定罪量刑造成了困难。以社交媒体上的社群为载体的犯罪往往是一种“无组织的有组织犯罪”，典型就是“N号房”案件：N号房的组织者只是共享聊天室的组建者，组建者与参与者的组织结构并非传统自上而下的“金字塔”形态，而是分散式的共享模式，房间组建者仅是有组织性地谋划、共享逃避调查的方法和被检举时的注意事项等。但是，所有参与者都在特定规则下自发地以暴力、胁迫等手段对被害人实施犯罪。当参与者的数量达到22万乃至更高的量级时，法是否不责众的疑问会回到人们的心头。

3

性犯罪的预防和处罚困难

在这次事件中，大量AI生成素材来自于加害人对周围女性的非法偷拍，类似的数字性犯罪也离不开隐藏摄像机偷拍行为。在韩国有몰카（molka）一词特指针孔相机，韩国Metoo运动也以抵抗偷拍为核心，尽管女性示威的浪潮不断，ReSet等社会活动群体不断发声，这一问题仍然无法根本解决。针孔摄像机在市场中仍然能够轻易购得，用于偷拍的电子设备删除非法内容后难以取证，而由它产生的偷拍内容借由发达的互联网又可以传播迅速。与此同时，执法和司法人员对被害者的偏见也使得执法和量刑幅度内更高的刑罚困难重重。

特别地，此次事件大量学校牵涉其中，参与deepfake的可能是学校职工也可能是在校学生，而根据韩国《少年法》的规定，10至14岁之间的儿童不承担刑事责任，这些“少年犯”也很难得到惩治。

在2020年裁判的N号房事件中，韩国最高检特别发布了“数字性犯罪案件处理标准”，定义了“性剥削视频”并制定了针对性剥削视频拍摄者的起诉标准，该案主犯终审被判34年，在诉讼过程中被检方几次追加起诉，罪名包括“生产并传播色情物品”、“强奸”、“勒索”、“使用暴力”等，其中还创新性地将网络社群内的性犯罪行为定义为“犯罪集团”。

今年首尔大学毕业生利用deepfake技术换脸合成色情内容并传播的案件正在庭审当中，他们和其他利用deepfake生成情色内容的犯罪者能否得到和N号房事件同样的严厉打击，不仅韩国，世界范围都在密切关注其进展。

03

技术伦理：科技应以公序良俗为底线

齐默尔曼（Reinhard Zimmermann）在梳理公序良俗之历史源流时曾指出：自古罗马时，善良风俗的核心就是将整个社会凝聚在一起的那些价值观。现代社会的问题恰恰在于，社会共识已经越来越少、越来越难以聚合。

但是，科技的发展仍然需要最大化地寻求社会共识，满足特定时代和社会中具有相当稳定性的秩序观念和良善观念也即公序良俗，否则技术的跨越的步伐越大，越难以逾越社会之中人与人之间的鸿沟。在我国，《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律从不同角度规范了技术的边界，《科学技术进步法》《促进科技成果转化法》等法律也抽象地对于科技的伦理底线有所规定，如“科技成果转化活动应当遵守法律法规，维护国家利益，不得损害社会公共利益和他人合法权益”等，《人工智能示范法（专家建议稿）》在总则篇也强调了科技伦理审查的重要性，走在更前端的欧盟已发布了《人工智能法案》和《可信赖人工智能伦理准则》等文件。

04

写在最后

在这次事件中，人工智能仅为犯罪的工具，尚且没有达到需要讨论AI主动窃取人类讯息、生成虚假内容的地步，然而这种风险也值得注意和防范，AI生成产品泛滥、数据集被污染的当下，deepfake相关性犯罪会如何发展尚未可知，亟需网络监管部门、社交媒体企业、社会大众等多方的关注以及国际合作。

AI技术被用于网络性犯罪是科技这把双刃剑带来的严峻挑战，也是AI技术揭示出的人性的幽暗。面对这一现状，更需要的是构建起多维度的防控体系，让立法建设与日常监管先行，让技术的创新与利用严守伦理的底线，以社会治理和国际合作等综合措施防治这一复杂议题。

如果您身边有对新科技、数字经济感兴趣的朋友，

欢迎转发给Ta

滑动查看服务清单

获取详细资讯，请联络飒姐团队

【 sa.xiao@dentons.cn】

【 guangtong.gao@dentons.cn】

飒姐工作微信：【 xiaosalawyer】

飒姐工作电话：【 +86 171 8403 4530】

往期精彩回顾

重磅 | 二手NFT，也不让卖了？！

肖飒团队 | C罗遭索赔70亿，是谁让其“十年归零”？

肖飒团队 | CZ被重罚，掀起币圈飓风的“蝴蝶”？

肖飒团队 | AI生成图片著作权第一案，“人机大战”胜负揭晓！

肖飒团队 | 刑事指控+罚43亿，币圈最大案件靴子落地！

肖飒团队 | HOUNAX暴雷：大陆居民在港追赃挽损攻略