浅析AIGC技术的刑事风险

引 言

随着国产模型Deepseek的横空出世，生成式人工智能（Generative Artificial Intelligence，下称"GAI"）技术再次成为了公共舆论的焦点。然而，过去的一年里，生成式人工智能内容（Artificial Intelligence Generated Content，下称"AIGC"）的刑事风险也伴随着技术爆炸骤增。

从韩国"N号房"事件中AI换脸技术催生的犯罪产业链，到国内首例利用AI伪造活体视频侵犯公民个人信息的刑事案件，再到ChatGPT生成诈骗话术引发的跨国网络诈骗案件，AIGC的"双刃剑"效应已从技术伦理争议转变为现实刑事犯罪。

随着我国《生成式人工智能服务管理暂行办法》的施行与欧盟将AIGC纳入高风险清单的监管动态，全球立法者正试图为技术划定法律边界，但刑事合规的复杂性远超预期——从训练数据源的合法性争议、算法黑箱导致的不可控输出，到服务提供者与使用者的责任切割，每一环节都可能突破刑法红线。

在此背景下，本文拟就目前已出现、可预见的AIGC刑事风险出发，简要分析不同主体视角下的刑事风险。

一、何为AIGC？

在讨论AIGC刑事的刑事风险前，我们先就AIGC的概念和其运作流程进行简要梳理。

AIGC目前并没有立法上的官方定义，根据中国信息通信研究院发布的《人工智能生成内容白皮书》所述 ¹，AIGC既是从内容生产者视角进行分类的一类内容，又是一种内容生产方式，还是用于内容自动化生成的一类技术集合。简单地来讲，AIGC既可以指代生成式人工智能生成的内容，又可以指代生成式人工智能技术本身。

AIGC的运作流程根据其原理可以分为：输入阶段、处理阶段、输出阶段。

"输入阶段"，即生成式人工智能训练语料的收集抓取阶段，通过各种途径、各种手段调用或组建训练模型的语料数据库。

"处理阶段"，即生成式人工智能"学习"语料数据、逻辑推理并总结归纳，从而调整模型参数。

"输出阶段"，即根据用户输入的关键词，给出文字、图像、音频或视频等形式的处理结果。

简而言之，生成式人工智能的运行表现为"收集—学习—生成"的三层结构。其中，第一层"收集"和第二层"学习"是内在的、隐含的、不透明的，原则上不与社会公众接触，所涉主体一般为人工智能研发人员和服务提供者，而第三层"生成"是生成式人工智能的外在表达，能够被人们阅读、感知、欣赏，所涉主体较为广泛，一般为使用者。

二、我国生成式人工智能领域立法概况

为了适应生成式人工智能产业的快速发展，我国已经陆续推出了多部规范性法律文件，具体如下：

2021年，国家发布实施了《中华人民共和国数据安全保护法》和《中华人民共和国个人信息保护法》，首次详细规范了个人信息和数据处理活动，有力保障了个人信息安全，推动了企业的数据合规措施。

2022年，网信办等部门联合发布的《互联网信息服务算法推荐管理规定》，具体规范了生成合成类、检索过滤类、调度决策类等关乎算法透明性、安全性的关键技术。同年，网信办等部门又联合发布了《互联网信息服务深度合成管理规定》，从生成式技术定义、标识管理、数据与技术管理、内容审核与管理多个角度进一步规范了生成技术的应用。

2023年，《生成式人工智能服务管理暂行办法》横空出世，我国人工智能立法领域进入了新的阶段，严格规定了生成式人工智能服务提供者的义务，从训练阶段到终端应用的全周期，包括数据审查、内容标识、网络信息安全、违法内容处置到监督管理等诸多方面 ²。

三、生成式人工智能研发者以及服务提供者的刑事风险

（一）输入阶段

数据收集阶段过程中，研发者可能会通过公共数据库、国际互联网爬取等手段收集所需的训练数据，当研发者使用爬虫软件不正当爬取网络媒体平台、社交媒体时，则有触犯侵犯著作权罪、侵犯公民个人信息罪之虞。

1. 侵犯知识产权类犯罪

根据《中华人民共和国刑法》（下称"《刑法》"）第二百一十七条之规定，以营利为目的，有下列侵犯著作权或者与著作权有关的权利的情形之一，违法所得数额较大或者有其他严重情节的，处三年以下有期徒刑，并处或者单处罚金；违法所得数额巨大或者有其他特别严重情节的，处三年以上十年以下有期徒刑，并处罚金。

AIGC研发者以盈利为目的，未经著作权人许可或授权，私自收集、爬取受保护的作品，非法用于生成式人工智能的预训练流程，使模型具有生成类似作品的能力，并通过付费、广告等形式利用该模型盈利，属于刑法第二百一十七条规定的"复制发行"他人作品的行为，可能构成侵犯著作权罪。

《刑法》第二百一十九条第一款规定，有下列侵犯商业秘密行为之一，情节严重的，处三年以下有期徒刑，并处或者单处罚金；情节特别严重的，处三年以上十年以下有期徒刑，并处罚金：（一）以盗窃、贿赂、欺诈、胁迫、电子侵入或者其他不正当手段获取权利人的商业秘密的；（二）披露、使用或者允许他人使用以前项手段获取的权利人的商业秘密的；（三）违反保密义务或者违反权利人有关保守商业秘密的要求，披露、使用或者允许他人使用其所掌握的商业秘密的。

若AIGC研发者在训练过程未经授权爬取企业内部数据库、竞争对手网站上的敏感数据，属于电子侵入或者其他不正当手段获取权利人的商业秘密的，则可能构成侵犯商业秘密罪。

据财联社报道³，爱奇艺于2025年1月6日向上海市徐汇区人民法院正式提起诉讼，指控AI企业MiniMax在AI模型训练及内容生成流程中涉嫌侵犯其版权。

虽然本案细节还未公布，但也对AI企业的数据合规具有启示意义。AIGC智能研发者应严格把控数据爬取行为，完善数据分级，在可以合法取得数据集的情况下，应尽可能避免数据爬取行为，避免出现数据不合规的情形。

2. 计算机信息系统类犯罪

《刑法》第二百八十五条第一款、第二款规定，违反国家规定，侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，处三年以下有期徒刑或者拘役。

违反国家规定，侵入前款规定以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。

此外，《刑法》第二百八十六条第一款规定，违反国家规定，对计算机信息系统功能进行删除、修改、增加、干扰，造成计算机信息系统不能正常运行，后果严重的，处五年以下有期徒刑或者拘役；后果特别严重的，处五年以上有期徒刑。

爬虫技术为AIGC企业提供了强大的数据支持，但使用爬虫技术应严格遵守法律法规，避免触碰法律红线。如全国首例"爬虫"技术侵入计算机系统犯罪案中，上海某网络科技有限公司经营技术开发、技术服务等业务，于2016年至2017年间采用"爬虫"技术非法抓取北京某网络技术有限公司服务器中存储的视频数据。法院以非法获取计算机信息系统数据罪分别判处被告单位罚金20万元，判处被告人张某等四人一年至九个月不等的有期徒刑，并处罚金 ⁴。

若AIGC企业未经授权许可，擅自爬取处于受保护状态的数据，并且通过技术手段绕开签名认证、代码混淆等安全防护措施，则涉嫌构成非法获取计算机信息系统数据罪。而当企业借助爬虫技术对目标计算机信息系统发起大规模、高并发的请求，致使该系统服务器资源耗尽，出现系统崩溃、无法正常运行的状况时，其行为则涉嫌构成破坏计算机信息系统罪。

企业和开发者应谨慎使用爬虫技术，确保在开发和利用爬虫技术时只抓取授权的数据、严格遵守Robots协议和服务条款、控制抓取频率以避免对目标网站造成过度负担，并强化数据安全与个人信息保护机制，通过规范使用，在市场竞争中获得合法优势 ⁵。

3. 侵犯公民个人信息罪

据报道，微软旗下的商业社交媒体平台Linkedln正面临一起因收集用户个人信息以训练模型引起的集体诉讼，原告声称，Linkedln平台于2024年9月18日更新了其隐私政策，明确表示客户数据可能会用于训练人工智能。平台的"FAQ"中写道，即使用户选择退出，也不会影响已用于AI训练的数据。Linkedln的这一行为涉嫌违反美国《联邦存储通信法案》，同时涉嫌违反加州不正当竞争法和合同违约 ⁶。

上述案例为我国的生成式人工智能研发者敲响了警钟。在我国，根据《刑法》第二百五十三条之一规定，违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。

商业实践中，AIGC研发者可能与某些金融机构、互联网公司、政府机关等主体有合作关系，若在开发相关垂直领域模型时，直接对数据库中的用户个人信息、上网记录、银行卡号等隐私信息进行调用，或对社交平台中的用户聊天记录等通信内容进行爬取、提供个性化推流服务。如果不进行匿名化处理，则有可能属于窃取或者以其他方法非法获取公民个人信息，构成侵犯公民个人信息罪。

（二）处理和输出阶段

数据处理阶段主要涉及生成式人工智能的强化学习、增量学习、微调等过程，研发者或其他研究人员通过手动给予反馈，从而精确调整模型参数。同时，该阶段也涉及对生成式人工智能的伦理限制，设计输出审查机制，避免生成不当言论。

这一阶段的刑事风险主要存在于对生成式人工智能的限制和微调，倘若微调数据不当或是伦理限制、敏感词限制不足，则会直接导致生成式人工智能输出不当言论，可能触犯煽动类犯罪和传授犯罪方法罪。

1.煽动类犯罪

根据《生成式人工智能服务管理暂行办法》（下称"暂行办法"）第四条规定，提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德，坚持社会主义核心价值观，不得生成推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽，以及虚假有害信息等法律、行政法规禁止的内容。上述规定则分别对应了《刑法》中规定的煽动类犯罪，如煽动分裂国家罪，煽动实施恐怖活动罪，煽动民族歧视、民族仇恨罪，煽动暴力抗拒法律实施罪，以及煽动军人逃离部队罪。

其中，煽动的行为包括口头、书面、利用信息网络等其他方式，煽动的内容须为不特定或者多数人所知悉且被煽动者是否能够实施相关的行为在所不问 ⁷。如研发者在数据处理阶段未能正确引导模型的价值观，灌输错误的观念、事实，导致模型向大量用户输出了分裂国家政权、破坏国家统一、灾害的谣言等言论，则可能构成上述煽动类犯罪。

我们建议AIGC服务提供者做好事前合规措施，完善生成内容伦理检测制度，并定期对团队进行内部培训，对数据使用、算法模型、内容审核流程进行合规审计，留存相关记录备查，从而阻却煽动类犯罪的主观故意。

2. 传授犯罪方法罪

传授犯罪方法，即把某种具体犯罪的方法传授给他人的行为。《刑法》第二百九十五条规定，传授犯罪方法的，处五年以下有期徒刑、拘役或者管制；情节严重的，处五年以上十年以下有期徒刑；情节特别严重的，处十年以上有期徒刑或者无期徒刑。

根据《暂行办法》第十四条规定，提供者发现违法内容的，应当及时采取停止生成、停止传输、消除等处置措施，采取模型优化训练等措施进行整改，并向有关主管部门报告。提供者发现使用者利用生成式人工智能服务从事违法活动的，应当依法依约采取警示、限制功能、暂停或者终止向其提供服务等处置措施，保存有关记录，并向有关主管部门报告。

若AIGC服务提供者没有合理设置伦理限制，未尽注意义务，导致用户使用过程中生成了法律禁止的内容，如使用人工智能获得特殊服务场所地点、计算机病毒程序，则有可能构成《刑法》第二百九十五条所规定的传授犯罪 ⁸。

需要注意的是，以上两种罪名皆为故意犯罪，研发者和服务提供者的注意义务以法律为限，若已经采取了预防措施和伦理限制，用户仍通过不法手段使生成式人工智能生成了不当内容，如通过诱导式提问绕开敏感词检测等手段，则不应追究研发者和服务提供者的责任。

四、生成式人工智能使用者的刑事风险

目前看来，AIGC的学习内容和训练规则暂时只能由其研发者进行设定，而非某个单独的用户，且用户的个别使用相对独立，个体数据并不能影响生成式人工智能的模型参数和原始数据，因此用户作为犯罪主体的情形一般出现于"输出"阶段 ⁹。

1. 编造、传播虚假信息罪

《刑法》第二百九十一条之一第二款规定，编造虚假的险情、疫情、灾情、警情，在信息网络或者其他媒体上传播，或者明知是上述虚假信息，故意在信息网络或者其他媒体上传播，严重扰乱社会秩序的，处三年以下有期徒刑、拘役或者管制；造成严重后果的，处三年以上七年以下有期徒刑。

多模态生成式人工智能的出现，虽然拓宽了AIGC应用领域和使用难度，但也降低了不法团伙造谣、传谣的门槛，大幅提升了谣言的数量级和传播力，不少网络博主为了"博眼球"，铤而走险，肆意使用AI工具炮制假新闻、生成假视频。

据公安部网安局称，青海某网民为博取眼球，将AI生成的"小男孩被埋图"与日喀则地震相关的信息进行关联拼凑、移花接木、混淆视听、误导群众，致使谣言信息传播扩散。目前，该涉案人员已被属地公安机关依法行政拘留 ¹⁰。

若该男子谎报灾情，生成虚假的地震视频并上传至互联网，导致社会严重混乱，则属于《刑法》第二百九十一条之一第二款规定的编造虚假的险情、疫情、灾情、警情，在信息网络或者其他媒体上传播，可能构成编造、传播虚假信息罪，其所承担的责任将从行政责任变为刑事责任。

2. 诈骗罪

《刑法》第二百六十六条规定，诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。本法另有规定的，依照规定。

生成式人工智能能够生成高度逼真的文本、音频、视频等内容，使诈骗手段更加多样化且难以识别。例如，通过AI换脸技术合成视频或音频，冒充亲友、银行工作人员等，诱导受害者转账汇款。

某不法分子利用人工智能深度伪造技术，通过某跨国公司在社交平台的资料，仿造多位高层管理人员的形象和声音，在视频会议中进行冒充，诱骗该公司香港分公司财务职员进行转账操作，涉案金额达2亿港币 ¹¹。

根据《刑法》第二百六十六条的规定，利用生成式人工智能生成虚假视频或音频，实时替换人脸，让他人信以为真，进而骗取他人公私财物，可能构成诈骗罪。

五、生成式人工智能领域合规建议

基于上述有关生成式人工智能法律规范的梳理和相关刑事风险的研究，我们给出如下合规建议：

1. 数据安全与个人信息保护

• 确保训练数据来源合法，不得使用非法获取或未授权数据，尤其需避免侵犯知识产权或个人信息权益。若涉及个人信息，需严格遵循《个人信息保护法》，获取用户明示同意，并遵循最小必要原则，仅收集与提供服务直接相关的数据。

• 根据《数据安全法》要求，建立数据分类分级制度，对训练数据、生成内容及用户交互数据进行分类管理，明确敏感数据的保护级别和访问权限。

• 若需向境外提供数据，如模型训练或服务部署，检查是否需要通过国家网信部门的安全评估、个人信息保护认证或签署标准合同，确保符合《数据安全法》《个人信息保护法》的跨境传输要求。

2. 算法与内容管理

• 根据《暂行办法》第七条，建立内容过滤机制，防止生成违法和不良信息，如暴力、虚假信息、歧视性内容等，并定期更新关键词库和模型训练规则。

• 对生成的文本、图像、音视频等内容进行人工或自动化审核，确保符合社会主义核心价值观，不违反法律法规。在技术研发中嵌入伦理审查机制，避免生成内容损害国家利益、社会公共利益或他人合法权益。

• 根据《互联网信息服务深度合成管理规定》和《暂行办法》，对生成内容进行显著标识，如添加水印、标签等，避免用户误认其为真实内容。

• 服务提供者应尽可能禁止生成式AI用于实施诈骗、传播虚假信息、制作违禁内容等违法活动，事前建立技术监测和应急响应机制，规避相关的刑事风险。对深度合成服务，如换脸、语音合成，可采取真实身份认证等措施，防止冒用他人身份。

3. 用户权益保障

• 生成式人工智能服务提供者应向用户清晰告知服务的AI属性、功能限制及可能风险，在用户协议和隐私政策中明确数据使用目的、范围及方式，并提供便捷的投诉、举报渠道，及时响应用户对生成内容或数据处理的异议。

• 服务提供者应在模型内部设置拒绝生成隐私信息的输出规则，若发现生成内容涉及用户个人信息，提供快速删除机制。

4. 安全评估与备案义务

• 根据《暂行办法》要求，在提供服务前需向国家网信部门申报安全评估，重点评估生成内容的合法性、数据安全风险及对社会公序良俗的影响。

• 若生成式AI服务具有舆论属性或社会动员能力，需按照《算法推荐管理规定》向网信部门履行算法备案程序，说明算法原理、运行机制及安全措施。

结 语

随着生成式人工智能的快速发展，我们可以看到国内外司法部门都在加强相关领域的立法和监管，立法者需要紧跟科技发展进度，及时应对科技发展带来的一系列法律问题。同时执法者则需要在执法过程中，理顺相关科技的内在原理及运作模式，更加精准的适用法律法规。作为专业的刑事律师，我们也会及时跟进相关进展，为客户提供专业的合规建议和应对方案。

注释：

1 中国信息通信研究院：人工智能生成内容白皮书，http://www.caict.ac.cn/kxyj/qwfb/bps/202209/P020220902534520798735.pdf

2 姚微佳:生成式人工智能风险治理及法律规制研究，载湖北经济学院学报(人文社会科学版),2024,21(12)

3 https://api3.cls.cn/share/article/1909890?os=ios&sv=8.5.3&app=cailianpress

4 中国法院网：https://www.chinacourt.org/article/detail/2020/01/id/4769105.shtml

5 上海市普陀区人民法院：https://mp.weixin.qq.com/s/5efIhlo7fh0PszpcPI595w

6 https://www.pymnts.com/cpi-posts/linkedin-faces-lawsuit-over-alleged-misuse-of-customer-data-for-ai-training/

7 张明楷:《刑法学》，法律出版社2021年版，第871页。

8 侯跃伟:《生成式人工智能的刑事风险与前瞻治理》，载《河北法学》第42卷第2期。

9 刘宪权.ChatGPT等生成式人工智能的刑事责任问题研究[J].现代法学,2023,45(04):110-125.

10 法治日报：我们正在经历一场与AI假新闻的较量，http://www.legalweekly.cn/fzzg/2025-01/16/content_9117781.html

11 央广网：AI鉴伪技术开始反制AI"换脸"诈骗，https://view.inews.qq.com/k/20250128A030Z400?web_channel=wap&openApp=false.

The content of this article is intended to provide a general guide to the subject matter. Specialist advice should be sought about your specific circumstances.