天尚法评 |AI生成的淫秽物品，谁来担刑责？——国内首起AI涉黄案背后的刑事合规红线

“我只是提供了一个AI工具，内容是用户自己‘聊’出来的。”

在生成式AI重塑社交、创作与陪伴场景的今天，这种“技术中立”的辩解正成为不少开发者的盾牌。然而，随着上海市徐汇区人民法院对国内首起AI服务提供者涉黄案作出一审判决，司法实践给出了震耳欲聋的回应：当算法成为违法内容的“助产士”，商业模式挂钩“色情流量”，技术外衣将不再是刑事责任的避风港。

近日，两名开发者因运营一款AI陪伴应用，产出大量淫秽文本内容，被一审判处有期徒刑四年及一年六个月。这起案件不仅标志着AI监管步入刑事司法实操阶段，更揭示了算法时代“制作、传播淫秽物品”判定的底层逻辑变化。

综合公开报道，本案的关键事实指向了AI产品在运营中的“失控”与“默许”：

1. 产品形态： 案涉应用提供AI智能体互动，用户通过付费获取深度沟通权限。

2. 内容属性： 系统生成的对话包含大量具体描写性行为、露骨宣扬色情的文本。法院认定，这些由AI实时生成的个性化内容符合“淫秽物品”的法条定义。

3. 经营逻辑： 被告人不仅是工具的提供者，更是盈利闭环的构建者。法院考察了注册用户量、付费转化率及充值金额，将其作为衡量“社会危害性”的核心指标。

4. 合规缺失： 尽管被告人主张技术中立，但证据显示平台缺乏有效的算法治理与内容过滤机制，客观上形成了淫秽内容的规模化产出。

争点1：AI实时生成的文本，属于法律意义上的“物品”吗？

传统刑法对“淫秽物品”的定义倾向于静态的图片、视频或书籍。但在生成式AI语境下，内容是动态生成的、千人千面的。

法理突破： 司法判决传达了一个逻辑——内容的“形态”不影响其“性质”的判定。只要AI生成的电子文本具备淫秽性，且能够被固定、储存并产生社会传播效应，即可纳入《刑法》第363条的评价范畴。

争点2：一对一的“私密对话”，为何具有社会危害性？

开发者常辩称：用户私聊不具有公开传播性。

律师观点： 刑法评价“制作淫秽物品牟利罪”时，并不以“向公众传播”为唯一前提。只要开发者以牟利为目的，通过算法驱动规模化、系统化地生产违禁内容，其行为就已经构成了对国家管理秩序和社会公德的侵害。付费机制的存在，将“工具提供”异化为了“色情产品供给”。

争点3：“技术中立”抗辩为何失效？

“技术中立”原则的前提是技术具有“实质性非侵权用途”。

红线判定： 如果开发者在产品设计上诱导低俗互动，在运营中放任违规输出，并从违法流量中获利，则属于“明知”的主观状态。此时，技术不再中立，而是成为了实施犯罪的专门工具。

1. 从“避风港”到“守门人”：合规义务的法定化

   
   

   根据《生成式人工智能服务管理暂行办法》，服务提供者承担着“内容生产商”的法律责任。这意味着开发者不能再躲在“搜索链接”式的避风港后，必须履行模型对齐、敏感词拦截、违规账号处置等法定守门人义务。

   
   

2. 主观明知的“推定逻辑”

   
   

   司法机关在判定开发者是否“明知”时，会关注：

   
   

   后台日志是否记录了大量敏感词输入？

   
   

   是否有用户投诉及监管部门的预警提醒？

   
   

   产品的推广营销是否以“无限制”、“色情陪伴”为卖点？

   
   

   只要存在“应知而未采取措施”的情形，即可能被推定为“放任的间接故意”。

   
   

3. 社会危害性的“算法增益”

   
   

   AI生产内容的效率是量级跃迁的。相比传统的人工创作，AI可以在短时间内产生数以百万计的淫秽文本。这种“规模效应”会显著加重刑事判决中的社会危害性评分，导致开发者面临更重的刑期。

对开发者与运营方：

1. 算法备案与安全评估： 严格按照监管要求履行算法备案程序，确保模型在底层已进行“价值对齐”。

2. 构建多维度审核体系： 采用“预过滤（敏感词库）+实时拦截（语义分析）+后处置（人工复核）”的闭环机制。

3. 剥离“违法激励”商业模式： 避免将付费点直接设置在易产生违规内容的场景中，定期审计产品是否存在诱导违法输出的逻辑。

4. 证据留存制度： 记录针对违规内容的拦截日志、处置记录、模型更新版本等，建立一套“我已经尽力履行治理义务”的抗辩证据链。

对用户：

私密不等于非法外之地： 诱导AI生成违禁内容并进行传播、售卖，同样触犯法律。

警惕人格权风险： 严禁利用AI深度伪造（Deepfake）他人形象生成色情内容，这不仅涉及侵权，更可能构成侮辱罪或诽谤罪。