跳到主要内容
首页/电子教材/第十一讲 人工智能与数据法学

第十一讲 人工智能与数据法学

16讲教材模块三 · 安全与跨境(第11-13讲)

第十一讲 人工智能与数据法学


📌 教学目标

通过本讲学习,学生将能够:

  • 系统把握我国人工智能法律体系"基础法律+专项法规+行业规范"三层架构;
  • 深入理解AI训练数据的法律属性、合规要求与实操路径;
  • 准确判断AI生成内容的版权归属与深度伪造的法律边界;
  • 掌握AI场景下个人信息保护与自动化决策的特别规则;
  • 初步具备从马克思主义法哲学视角反思AI与数据关系的能力;
  • 跟踪全球AI治理立法动态,理解中国方案的制度特色。

本讲学时: 2学时(90分钟,建议延展至120分钟)


🎯 课前案例导入

案例一:Anthropic 15亿美元AI版权和解案(2025年)

2025年9月,美国作家集体诉讼指控Anthropic在未获授权的情况下,从互联网盗版书库获取数百万本受版权保护的书籍用于训练AI模型。美国法院认定:AI模型训练本身可能构成合理使用,但Anthropic明知故犯地从盗版网站获取书籍的行为本身构成版权侵权。最终Anthropic同意支付约15亿美元与作者和解。

本案核心意义:AI训练数据的合法来源问题已成为全球AI产业面临的最重要法律风险之一。"合理使用"抗辩并非绝对免责——获取手段的违法性不可忽视**。这一区分对理解我国《生成式人工智能服务管理暂行办法》的训练数据合规要求有直接参照价值。

案例二:Meta训练数据版权案——合理使用原则的适用(Kadrey v. Meta)

2025年,美国法院在Kadrey v. Meta案中认定,Meta从"影子图书馆"下载受版权保护的书籍用于训练Llama大语言模型的行为构成"合理使用"。

法院推理要点:

  • AI模型训练属于"高度转化性使用"(与人类阅读目的迥异)
  • 原告未能证明AI训练直接替代原市场
  • 未证明潜在许可市场受损
⚠️ 关键提示:这一"合理使用"认定不等于AI公司可以任意使用任何数据进行训练。获取途径的合法性仍是重要考量因素。对比案例一(Anthropic因"明知盗版仍获取"而被判侵权)可见:训练行为本身可能被宽容,但获取行为的违法性会被独立评价**。

案例三:我国AI深度伪造案——全国首例AI换脸侵权案

某科技公司运营的App提供AI换脸服务(视频换脸、图片换脸、照片舞动配音),但未按规定落实安全评估要求,深度合成内容未作显著标识,存在较大安全风险。

依据《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》,网信部门责令移动应用程序分发平台对该App予以下架处置。

案例四:全球AI监管立法加速(2025—2026)

国家/地区 立法名称 生效时间 核心要求
中国 《生成式人工智能服务管理暂行办法》 2023年8月15日 全球首部专项法规,训练数据来源合法,不得侵害知识产权
欧盟 EU AI Act 2024年正式生效 风险分级监管,高风险系统严格义务,违规最高罚全球营收7%
美国 州级分散立法(如加州SB 53、德州RAIGA) 2025—2026 侧重前沿模型安全与透明度,无联邦统一立法
中国 《人工智能拟人化互动服务管理暂行办法》 2026年 规范AI拟人化交互,防范情感依赖与未成年人风险
韩国 《人工智能基本法》 2026年1月22日 全球第二部综合性AI立法,高影响AI义务与生成式AI标识

案例五:某头部AI绘画平台版权纠纷案(国内)

国内某AI绘画平台因训练数据集包含大量未授权美术作品,被多位画师集体维权。争议焦点:

  • AI模型训练是否构成对原作品的"复制"?
  • 生成图片与原作品"实质性相似"如何认定?
  • 平台能否以"技术中立""用户生成"抗辩?

教学价值:该案直指AI训练数据的合法性基础问题——在我国法下,《生成式人工智能服务管理暂行办法》第4条明确要求"尊重知识产权",训练数据来源合规是刚性的法定义务,而非可协商的商业选择。

案例六:广州互联网法院"奥特曼案"(2024年)——全球首例生成式AI服务侵权判决

2024年2月,广州互联网法院就上海新创华文化发展有限公司诉某生成式AI服务商案作出判决〔(2024)粤0192民初113号〕。被告经营的AI绘画网站可根据用户输入的提示词生成与"奥特曼"形象实质性相似的图片。法院认定:被告构成对原告奥特曼作品复制权、改编权的侵害;生成式AI服务提供者未尽合理注意义务(未建立投诉举报机制、未进行内容标识、未采取关键词过滤等风控措施),应承担侵权赔偿责任。

教学价值**:该案与案例一(Anthropic案)形成中美对照——我国法院并未回避AI平台的实质责任,而是通过"注意义务"框架将平台纳入责任体系,体现了"服务提供者责任前置化"的中国路径。

模块一:我国人工智能法律体系

一、"基础法律+专项法规+行业规范"三层架构

我国人工智能法律体系:
┌─────────────────────────────────────────────────────────┐
│ 第一层:基础法律 │
│ 《网络安全法》(2026修订) · 《数据安全法》 ·《个人信息保护法》│
│ │ │
│ 第二层:专项法规 │
│ 《生成式人工智能服务管理暂行办法》(2023.8.15) │
│ 《互联网信息服务算法推荐管理规定》(2022.3.1) │
│ 《互联网信息服务深度合成管理规定》(2023.1.10) │
│ 《人工智能拟人化互动服务管理暂行办法》(2026) │
│ 《生成式人工智能生成合成内容标识办法》 │
│ │ │
│ 第三层:行业规范 │
│ 金融AI合规指引 · 医疗AI · 自动驾驶等专项规定 │
└─────────────────────────────────────────────────────────┘

二、《生成式人工智能服务管理暂行办法》核心制度(2023年8月15日施行)

全球首部针对生成式AI的专项法规,其核心制度:

制度维度 具体要求 条文依据
训练数据合规 使用具有合法来源的数据和基础模型;涉及知识产权的,不得侵害他人依法享有的知识产权 第4条、第7条
个人信息处理 涉及个人信息的,应当取得个人同意或符合其他合法性基础 第4条、第11条
内容合规 不得生成煽动颠覆国家政权、危害国家安全、淫秽暴力等违法内容 第4条
真实准确 尊重客观事实,提高生成内容准确性和可靠性 第4条
标识义务 对生成的图片、视频等内容进行标识 第12条(配套《标识办法》)
用户权益 尊重用户知情权,告知服务适用人群、场合、用途 第10条
投诉举报 建立投诉举报机制,及时处理 第15条
📌 权威解读:中央网信办专家解读《人工智能拟人化互动服务管理暂行办法》时指出,该办法是"规范人工智能前沿业态健康发展的新探索",体现了"发展与安全并重、分级分类监管"**的治理思路。

三、《生成式人工智能服务管理暂行办法》重点条款深度解读

(一)第4条:价值原则条款——"发展与安全"的规范表达

第4条是全办法的"总则性条款",确立了五层要求,需逐层理解:

  1. 价值观要求:坚持社会主义核心价值观,不得生成煽动颠覆国家政权、推翻社会主义制度,危害国家安全和利益,损害国家形象,煽动分裂国家、破坏国家统一和社会稳定,宣扬恐怖主义、极端主义,宣扬民族仇恨、民族歧视,暴力、淫秽色情,以及虚假有害信息等法律、行政法规禁止的内容。——这是内容安全的底线条款,与《网络安全法》第12条一脉相承。
  2. 反歧视要求:在算法设计、训练数据选择、模型生成和优化、提供服务等过程中,采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视。——注意其规制范围覆盖全生命周期(设计→数据→训练→优化→服务),而非仅针对输出结果。
  3. 知识产权与公平竞争要求:尊重知识产权、商业道德,保守商业秘密,不得利用算法、数据、平台等优势,实施垄断和不正当竞争行为。——本条将AI竞争纳入《反垄断法》《反不正当竞争法》的协同治理视野。
  4. 人格权与个人信息要求:尊重他人合法权益,不得危害他人身心健康,不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益。——与《民法典》人格权编形成衔接。
  5. 透明度与真实性要求:基于服务类型特点,采取有效措施提升透明度,提高生成内容的准确性和可靠性。——这是"算法幻觉"(hallucination)问题的法律回应。
💡 考点提示**:第4条的五层要求可归纳为"安全—公平—产权—人格—真实"五个关键词,是简答题与论述题的高频考点。

(二)第7条:训练数据合规条款——AI产业的"第一合规义务"

第7条确立了训练数据处理活动的四项义务(详见模块二),其规范结构值得注意:

  • 义务主体:生成式人工智能服务提供者(含通过API等方式间接提供服务的组织、个人——第22条);
  • 规制环节:预训练、优化训练等训练数据处理活动
  • 规范性质:属于行为义务与结果义务的复合——"合法来源""不侵权"是结果性要求,"采取有效措施提高质量"是行为性要求。

举证责任问题:发生侵权纠纷时,提供者如何证明自己履行了第7条义务?答案在于训练数据档案与合规留痕(详见模块二"全链条合规清单")。无档案,即无抗辩。

(三)第10条:用户权益保护条款

第10条要求提供者:

  1. 明确并公开其服务的适用人群、场合、用途
  2. 指导用户科学理性认识和依法使用生成式AI技术;
  3. 采取有效措施防范未成年人用户过度依赖或者沉迷
📌 延伸理解**:第10条第3项是我国AI立法中首次出现的"防沉迷"义务,其规范逻辑与《未成年人保护法》网络保护专章衔接。2026年《人工智能拟人化互动服务管理暂行办法》进一步将"情感依赖防范"扩展至全年龄段用户,可视为第10条的升级与细化。

(四)第11条:用户输入信息保护条款

第11条规定提供者对使用者的输入信息和使用记录依法履行保护义务:

  • 不得收集非必要个人信息;
  • 不得非法留存能够识别使用者身份的输入信息和使用记录;
  • 不得非法向他人提供使用者的输入信息和使用记录。

实务场景:用户向大模型输入的提示词可能包含商业秘密、未公开论文、病历材料等敏感信息。若平台将用户对话默认用于模型迭代训练,是否合法?——按照第11条及《个保法》,平台应当:(1)在隐私政策中明确告知;(2)提供退出训练语料库的选项(opt-out);(3)对敏感个人信息取得单独同意。OpenAI、Anthropic及国内主要平台均已设置此类开关,其法理基础即在于此。

(五)第12条:生成内容标识条款

第12条规定:"提供者应当按照《互联网信息服务深度合成管理规定》对图片、视频等生成内容进行标识。"

该条为引致条款,将标识义务转介至深度合成规定;2025年《生成式人工智能生成合成内容标识办法》及配套强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》(GB 45438—2025)施行后,标识义务进一步细化(详见模块三)。

四、《算法推荐管理规定》与《深度合成管理规定》核心制度对比

我国AI治理的"三驾马车"(算法推荐、深度合成、生成式AI)分别针对不同技术形态。前两者的制度对比有助于理解监管者的技术区分逻辑

对比维度 《算法推荐管理规定》(2022.3.1) 《深度合成管理规定》(2023.1.10)
规制对象 算法推荐技术(生成合成、个性化推送、排序精选、检索过滤、调度决策等) 深度合成技术(深度学习、虚拟现实等生成合成文本、图像、音频、视频、虚拟场景)
核心风险定位 信息茧房、算法歧视、舆论操纵、诱导沉迷 虚假信息、身份冒用、公众混淆误认
用户赋权 提供不针对个人特征的选项/便捷关闭算法推荐的选项(第17条) 保障被编辑个人的单独同意权(人脸、人声等生物识别信息,第14条)
标识义务 无直接标识义务;强调公示算法基本原理、目的意图和主要运行机制(第16条) 对可能导致公众混淆误认的内容进行显著标识(第16、17条)
身份核验 无专门要求 对使用者进行真实身份信息认证(第9条)
内容审核 建立违法和不良信息特征库,加强信息内容管理(第8、9条) 对输入数据和合成结果采取技术或人工审核(第10条)
特殊群体保护 未成年人防沉迷(第18条);老年人权益(第19条);劳动者权益(第20条,外卖骑手算法) 辟谣机制与投诉举报(第11、12条)
备案义务 具有舆论属性或社会动员能力的算法推荐服务提供者应备案(第24条) 具有舆论属性或社会动员能力的深度合成服务提供者应履行备案和安全评估(第20条)
共同制度 算法备案、安全评估、用户投诉、分级分类管理 同左
💡 理解要点:算法推荐规定是"分发端"规制(信息如何被推荐),深度合成规定是"生产端"规制(内容如何被伪造),生成式AI办法则是"生成端+服务端**"的综合规制。三者叠加,构成覆盖"生成—分发—使用"全链条的规制网络。

五、《人工智能拟人化互动服务管理暂行办法》(2026年)详解

2026年出台的《人工智能拟人化互动服务管理暂行办法》,是我国针对AI伴侣、AI角色扮演、智能体社交等新业态的专项规范,回应了Character.AI类应用引发的全球性风险(如美国少年自杀案中AI聊天机器人的诱导争议)。

核心制度框架:

制度 主要内容 规制目标
拟人化程度管理 对高度拟人化的交互服务设定更严格义务;要求服务在显著位置提示"对方为AI而非真人" 防止认知混淆与情感欺骗
身份提示义务 交互开始及过程中持续、显著地告知用户其交互对象为人工智能 保障用户知情权
情感依赖防范 不得利用情感操控手法诱导用户过度依赖;设置使用时长提醒与干预机制 保护心理健康
未成年人特别保护 未成年人模式强制启用;不得向未成年人提供恋爱陪伴、成人内容类拟人交互 特殊群体保护
危机干预义务 识别到用户自伤、自杀等风险言论时,应采取转介人工客服、推送求助渠道等措施 生命安全保障
数据安全 情感交互中收集的敏感个人信息(心理状态、私密倾诉)适用更高保护标准 敏感信息保护
📌 制度意义:该办法标志着我国AI治理从"内容安全"扩展到"心理安全与关系安全**",是全球范围内对AI拟人化服务最早作出系统规范的代表性立法之一,与《生成式人工智能服务管理暂行办法》第10条(防沉迷)形成规范递进。

六、《网络安全法》2026年修订:首次在基础法律中明确AI治理

2025年10月,十四届全国人大常委会第十八次会议通过《网络安全法》修订决定,新增条款专门规范人工智能安全与发展:

  • 明确"完善人工智能伦理规范,加强风险监测评估和安全监管"
  • 要求网络运营者履行AI系统安全保护义务
  • 确立"发展与安全双轮驱动"的核心原则

意义:AI治理从"部门规章层面"上升至"基础法律层面",标志着我国AI法律治理进入体系化阶段。

七、我国AI立法的新动向:迈向"体系化"

时间 进展 内容
2026年 国务院立法工作计划 加快推进人工智能健康发展综合性立法
2026年 全国人大常委会立法工作计划 人工智能健康发展列入预备审议项目
2026年 "十五五"规划纲要 全面实施"人工智能+"行动
2026年1月 8部门联合发布 《"人工智能+制造"专项行动实施意见》
💡 学术观点:中国社会科学院周辉等学者提出,我国人工智能治理范式处于"动态演进"**之中,以《人工智能示范法》(学者建议稿)的更新迭代为观察视角,可见治理重心正从"内容安全"向"全流程风险治理"迁移。

模块二:AI训练数据的法律规制

本模块核心问题**:数据要素与人工智能的关系是什么?训练数据作为AI的"燃料",其法律属性如何界定?合规边界在哪里?

一、AI训练数据的法律挑战

挑战一:数据来源的合法性难以追溯

大模型训练往往需要海量数据(万亿token级别),实践中数据多来自网络爬取、开源数据集、第三方采购。逐条取得授权在技术与经济上均不可行,形成"合法性鸿沟"。

挑战二:著作权与合理使用的边界模糊

训练数据中包含大量受著作权保护的作品。AI训练是否构成"复制"?能否适用"合理使用"或我国的"合理使用/法定许可"?比较法上(如美国Anthropic案、Meta案)结论尚不统一,我国司法实践仍在探索。

挑战三:个人信息混入训练数据

网络爬取的数据常包含个人信息。若未取得同意即用于训练,可能违反《个人信息保护法》第13条(处理合法性基础)。

挑战四:数据质量与偏见

训练数据的偏见会被模型学习并放大,导致算法歧视。这不仅是技术问题,更是法律上的公平性问题

二、训练数据合规的核心要求

《生成式人工智能服务管理暂行办法》第7条明确要求:生成式人工智能服务提供者应当依法开展预训练、优化训练等训练数据处理活动,遵守以下规定:

  1. 使用具有合法来源的数据和基础模型;
  2. 涉及知识产权的,不得侵害他人依法享有的知识产权;
  3. 涉及个人信息的,应当取得个人同意或者符合法律、行政法规规定的其他情形;
  4. 采取有效措施提高训练数据质量,增强训练数据的真实性、准确性、客观性、多样性;
  5. 其他有关规定。

合规义务三维度:

维度 具体要求 对应法条
来源合法 不使用盗版、非法爬取、黑市购买的数据 《暂行办法》第7条第1项
不侵权 训练数据不得侵害他人知识产权 《暂行办法》第7条第2项
个人信息合规 取得同意或具备其他合法性基础 《暂行办法》第7条第3项+《个保法》第13条
质量义务 真实性、准确性、客观性、多样性 《暂行办法》第7条第4项

三、AI训练数据来源合规的实操路径

📌 学术观点:亓蕾在《人工智能训练数据的法律风险与制度供给》中指出,训练数据合规应构建"来源分类—风险分级—差异化义务"**的制度框架,而非一刀切地要求全部授权。

路径一:使用开源/授权数据集

  • 优先选用明确开放许可(如CC协议、Apache协议)的数据集
  • 核验开源协议的具体条款(部分协议限制商业使用)
  • 保留完整的来源凭证与许可文件

路径二:合法爬取公开数据

  • 遵守robots协议与网站服务条款
  • 不突破技术保护措施(不得绕过反爬机制)
  • 不抓取明确声明禁止抓取的内容
  • 抓取后若含个人信息,须脱敏或取得合法性基础

路径三:采购商业数据

  • 与数据供应商签订书面合同
  • 要求供应商作出权利瑕疵担保
  • 核验供应商的数据来源链条(转授权文件)

路径四:合成数据与自主生成

  • 使用AI生成的合成数据训练(规避部分版权风险)
  • 但须注意:合成数据可能放大原有偏见,且质量需验证

路径五:建立训练数据档案

  • 记录每批训练数据的来源、规模、许可状态、处理过程
  • 这是履行《暂行办法》"合法来源"举证责任的关键证据

合规风险对照表:

风险行为 法律后果 典型案例
使用盗版书库数据训练 著作权侵权;高额赔偿 Anthropic案(15亿美元和解)
违规爬取含个人信息数据 违反《个保法》;行政处罚 多起爬虫案件
未标识AI生成内容 违反《标识办法》;责令整改 AI换脸App下架案
训练数据含违法内容 违反《暂行办法》第4条;暂停服务 多起内容安全处罚

四、训练数据合规的全链条操作清单

以下清单将训练数据合规从"原则"转化为"流程",覆盖立项→获取→清洗→训练→留存→迭代六个环节,供实务参考:

环节一:立项与数据来源审查(事前)

  • [ ] 编制《训练数据需求说明书》,明确数据类型、规模、用途
  • [ ] 对拟使用的数据源进行合法性分级:A类(自有/授权)、B类(公开数据/开源数据)、C类(第三方采购)、D类(禁止:盗版、黑市、非法爬取)
  • [ ] 涉及个人信息的,启动个人信息保护影响评估(PIA,详见模块四)
  • [ ] 涉及重要数据的,对照《数据安全法》评估安全义务

环节二:数据获取(事中)

  • [ ] 开源数据:核验许可协议版本与条款(是否允许商用、是否要求署名、是否传染性开源)
  • [ ] 爬取数据:留存robots协议遵守记录、爬取频率与范围记录
  • [ ] 采购数据:签署含权利瑕疵担保条款的采购合同,索取来源证明与转授权链条
  • [ ] 用户数据:核验隐私政策是否覆盖"用于模型训练",提供opt-out机制

环节三:数据清洗与标注(事中)

  • [ ] 过滤违法内容(涉政、涉黄、涉暴)并留存过滤规则与日志
  • [ ] 个人信息脱敏处理(去标识化/匿名化,见本节"专项分析")
  • [ ] 版权内容筛查(对明显侵权内容如整本图书、影视字幕进行剔除)
  • [ ] 标注外包时签署保密协议与劳动合规条款

环节四:训练过程管理(事中)

  • [ ] 记录训练使用的数据集版本号、配比、参数
  • [ ] 对输出进行版权相似性抽检(防范"记忆性输出")
  • [ ] 建立"遗忘"机制的技术预案(应对个人删除权请求)

环节五:记录留存(事后)

  • [ ] 建立训练数据档案:来源、许可、处理记录、版本、训练时间
  • [ ] 档案保存期限建议不短于三年(参照《个保法》第56条PIA记录保存要求)
  • [ ] 形成可对外披露的《训练数据来源说明》(参照欧盟AI Act第53条训练数据摘要义务)

环节六:迭代与再评估(持续)

  • [ ] 每次重大版本更新时重新评估数据合规状况
  • [ ] 跟踪立法动态(如TDM例外规则变化)并调整数据策略
💡 实务要点:上述清单的核心逻辑是"合规留痕即抗辩证据**"。在Anthropic案中,若企业无法举证其数据来源审查过程,法院将推定其未尽注意义务。我国《暂行办法》第7条的执法逻辑亦同。

五、"文本数据挖掘"(TDM)例外规则的国际比较

针对"AI训练是否需逐件授权"的难题,主要法域通过著作权法中的TDM例外作出不同回答:

法域 规则依据 适用范围 权利保留(opt-out) 商业使用 特点
日本 《著作权法》第30条之4(2019年施行) "非欣赏性利用"——不以欣赏作品表达为目的的利用 无一般性opt-out,但不得"不合理损害著作权人利益" 允许 全球最宽松的TDM例外;2024年文化厅发布《关于AI与著作权的基本观点》澄清适用边界
欧盟 《数字单一市场版权指令》(DSM指令2019/790)第3、4条 第3条:科研机构的科研TDM(不可通过合同排除);第4条:一般主体TDM 第4条允许权利人明确保留(如网站机器可读声明) 允许(受opt-out限制) 双轨制:科研绝对豁免+商业相对豁免
英国 《版权、外观设计和专利法》第29A条 仅限非商业研究的TDM 不适用 禁止 范围最窄;2021—2023年曾酝酿扩大例外后搁置;2025年政府磋商倾向"权利保留"模式
美国 合理使用四要素(判例法) 个案判断 个案判断(Anthropic案、Meta案倾向认定合理使用) 无制定法例外,依赖司法裁量
中国 《著作权法》第24条合理使用(封闭式列举) 现行法未规定TDM例外 —— —— 训练数据问题主要通过《暂行办法》第7条"来源合法+不侵权"规制;学界建议引入TDM例外或法定许可
📌 比较法启示**:日本模式激励AI产业发展但牺牲权利人利益;欧盟模式以"opt-out"平衡双方;英国模式保守;美国模式不确定性强但灵活。我国当前的"行政许可式合规"路径(第7条)与著作权法内部解决路径(TDM例外)如何衔接,是立法论上的核心争点。

六、训练数据中的个人信息保护专项分析

(一)匿名化 vs 去标识化:一字之差,法律效果迥异

概念 法律定义(《个保法》第73条) 法律效果 技术特征
匿名化 个人信息经过处理无法识别特定自然人且不能复原 处理后的信息不再属于个人信息,退出《个保法》适用范围 不可逆;如聚合统计、彻底删除标识符及其关联
去标识化 个人信息经过处理,使其在不借助额外信息的情况下无法识别特定自然人 仍属个人信息,仍受《个保法》规制 可借助额外信息复原;如假名化、哈希处理
⚠️ 实务误区**:许多AI企业声称训练数据已"匿名化",但实际仅做了去标识化(如将姓名替换为ID编号)。只要额外信息(映射表)存在,数据仍可识别到个人,就仍受《个保法》约束。真正的匿名化在机器学习场景下极难实现——模型可能从海量去标识化数据中重新识别个人(重识别攻击)。

(二)"合法利益"基础能否支撑AI训练?

《个保法》第13条未采用欧盟GDPR式的"合法利益"(legitimate interest)独立基础,但规定了"依照本法规定在合理的范围内处理个人自行公开或者其他已经合法公开的个人信息"(第13条第6项+第27条)。AI企业据此主张"已公开个人信息训练豁免"时,须过三关:

  1. 公开合法性审查:信息是否由个人自行公开或经其同意公开?被他人非法公开的信息不适用;
  2. 合理范围审查:处理目的是否超出个人公开信息时的合理预期?向全网公开的微博被用于舆情分析可能在预期内,但被用于训练生成式AI进行商业变现,通常超出合理预期;
  3. 重大影响审查:《个保法》第27条但书——"对个人权益有重大影响的,应当依照本法规定取得个人同意"。大模型训练对个人权益的影响(画像、生成涉及个人的内容)通常被认定为重大。
📌 结论性观点**:在我国法下,"已公开"不构成AI训练的免死金牌。比较稳妥的合规路径是:对可识别的个人信息原则上取得同意或完成匿名化;对无法逐一同意的存量数据,通过严格的去标识化+安全评估+opt-out机制降低风险。

七、AI训练数据版权纠纷的中国司法实践

我国法院近年来通过个案逐步勾勒AI版权规则,代表性判例包括:

判例一:广州互联网法院"奥特曼案"(2024)〔(2024)粤0192民初113号〕

  • 案情:被告AI绘画平台可根据提示词生成与奥特曼形象实质性相似的图片。
  • 裁判要旨:(1)生成图片与权利作品构成实质性相似,侵害复制权、改编权;(2)生成式AI服务提供者未尽合理注意义务(无投诉机制、无标识、无关键词过滤),应承担赔偿责任;(3)法院创造性地"判令"被告采取技术性停止措施(关键词过滤等),而非简单下架模型。
  • 意义:全球首例生成式AI服务著作权侵权判决,确立了平台"注意义务"的三要件(投诉机制、标识、风控措施)。

判例二:杭州互联网法院"触手AI案"(2025)

  • 案情:上海新创华公司诉杭州某科技公司运营的触手AI平台,用户可上传奥特曼图片训练LoRA模型并生成相似图片。
  • 裁判要旨:法院认定平台构成帮助侵权——平台明知或应知用户利用其服务实施侵权而未采取必要措施。同时明确:用于训练的模型数据问题与输出端侵权责任应分别评价。
  • 意义:将"通知—删除"规则适用于AI平台,厘清了用户侵权与平台责任的分界。

判例三:北京互联网法院"AI文生图案"(2023)〔(2023)京0491民初11279号〕

  • 案情:原告李某使用Stable Diffusion通过多轮提示词调整生成图片"春风送来了温柔",被告刘某在自媒体账号使用。李某起诉侵害署名权、信息网络传播权。
  • 裁判要旨:原告通过设计提示词、设置参数、反复调整,体现了独创性智力投入,生成图片构成美术作品,著作权归原告。
  • 意义:全球范围内首次在生效判决中确认AI文生图可构成作品(详见模块三)。
💡 小结:中国司法实践呈现"输入端严格审查来源、输出端保护独创表达、平台端课以注意义务**"的三层结构,与欧盟"权利保留+透明度"模式、美国"合理使用个案裁量"模式均不相同。

模块三:AI生成内容的法律问题

一、AI生成内容的版权保护

核心争议:AI生成内容是否构成《著作权法》意义上的"作品"?

判断标准(我国司法倾向):

情形 是否构成作品 理由
纯AI自动生成,无人类创作性投入 一般不构成 缺乏"人的智力创作"
用户通过提示词、参数调整体现独创性选择 可能构成 体现了人的智力投入与个性化表达
AI辅助创作(人起主导作用) 构成 符合传统作品要件
📌 司法动态:北京互联网法院在相关判决中认可,当用户对生成内容的表达形式作出独创性选择与安排**时,生成内容可构成作品,著作权归用户。这一立场平衡了技术发展与创作激励。

权属规则:

  • 有约定的从约定(平台服务协议)
  • 无约定时,一般认为由实际作出独创性贡献的人(用户)享有
  • 平台可依协议获得使用权,但不得主张独占性著作权

二、AI生成内容版权归属的中美判例详细对比

(一)中国判例

判例 法院/案号 核心事实 裁判结论
菲林律所诉百度案(2019) 北京互联网法院〔(2019)京0491民初239号〕 威科先行数据库自动生成的法律分析报告被百度转载 分析报告系软件自动生成,非"人的创作",不构成作品;但软件使用者的投入应受反不正当竞争等途径保护
腾讯诉盈讯科技案(2019) 深圳南山区法院〔(2019)粤0305民初14010号〕 腾讯Dreamwriter系统自动生成财经报道被转载 文章由原告主创团队运用Dreamwriter软件完成,团队的个性化安排与选择体现了独创性,构成法人作品,著作权归腾讯
李某诉刘某案(2023) 北京互联网法院〔(2023)京0491民初11279号〕 原告用Stable Diffusion经多轮提示词调整生成图片 用户投入独创性智力劳动的AI文生图可构成美术作品,著作权归用户

(二)美国判例与行政决定

判例/决定 机构 核心事实 结论
Thaler v. Perlmutter(2023—2025) 哥伦比亚特区联邦地区法院、特区巡回上诉法院 Stephen Thaler就其AI系统"Creativity Machine"自主生成的图像申请版权登记,主张AI为作者、自己依雇佣作品原则取得权利 两级法院均维持版权局决定:《版权法》上的"作者"限于人类,AI自主生成物不受版权保护
"Zarya of the Dawn"决定(2023) 美国版权局 Kristina Kashtanova使用Midjourney生成漫画插图,辅以本人文字与编排 整体作品的文字及人类编排受保护;Midjourney生成的单幅图像因缺乏人类创作不受保护
美国版权局报告(2025年1月) 美国版权局《版权与人工智能》第二部分 政策性结论 纯粹AI输出不受保护;含人类可感知表达贡献的部分可保护;提示词本身一般不足以使输出成为用户作品

(三)中美规则对比小结

维度 中国 美国
人类作者要件 同(著作权法以自然人创作为原点) 同("human authorship"为刚性要件)
提示词贡献的评价 多轮、精细化提示词+参数调整可构成独创性投入(李某案) 版权局立场更保守:提示词视为"指令"而非"表达",一般不产生版权
AI辅助创作 认可,权利归主导创作的人(腾讯案) 认可,但须逐部分剥离AI贡献(Zarya案)
纯AI自动生成 不构成作品(菲林案) 不构成作品(Thaler案)
登记实践 按一般作品登记,个案审查 登记时须声明并排除AI生成部分
💡 课堂讨论**:中美均要求"人类创作",但对"提示词创作性"的评价宽严有别。北京的立场是否过于宽松,会导致"提示词工程师"垄断AI艺术市场?美国版权局的立场是否会抑制AI辅助创作产业的发展?

三、深度伪造的法律规制

规制依据:

  • 《互联网信息服务深度合成管理规定》(2023年1月10日施行)
  • 《民法典》第1019条(肖像权保护)
  • 《刑法》(诈骗、诽谤等)
  • 《个人信息保护法》(生物识别信息属敏感个人信息)

核心义务:

  1. 标识义务:深度合成内容须添加显著标识(不可删除的隐式标识+显式标识)
  2. 安全评估:具有舆论属性或社会动员能力的服务须进行安全评估
  3. 同意要求:使用他人肖像、声音等生物特征信息须取得单独同意
  4. 真实准确:不得利用深度合成服务制作、复制、发布、传播虚假信息

三维法律责任详解:

(一)民事责任

侵害客体 请求权基础 责任形式
肖像权 《民法典》第1019条:任何组织或个人不得以利用信息技术手段伪造等方式侵害他人肖像权 停止侵害、消除影响、赔礼道歉、赔偿损失
名誉权、荣誉权 《民法典》第1024条 同上;精神损害赔偿
声音权益 《民法典》第1023条第2款(参照肖像权保护) 同上
个人信息权益 《个保法》第69条(过错推定+损害赔偿) 处理者不能证明无过错的,承担损害赔偿
一般人格权("AI复活"逝者等) 《民法典》第990条、第994条(死者人格利益) 近亲属可请求救济

(二)行政责任

违法行为 处罚依据 法律后果
未履行显著标识义务 《深度合成管理规定》第22条、《生成式AI暂行办法》 警告、通报批评、责令限期改正;拒不改正或情节严重的,责令暂停服务、罚款
未落实安全评估、备案 《深度合成管理规定》第20、22条 下架App、暂停相关业务
传播虚假信息扰乱秩序 《网络安全法》《治安管理处罚法》 罚款、拘留(散布谣言扰乱公共秩序)
违法处理生物识别信息 《个保法》第66条 最高5000万元或上一年度营业额5%罚款

(三)刑事责任

罪名 典型行为 法条
诈骗罪 AI换脸/拟声冒充亲友、领导实施诈骗(如"AI换脸冒充老板骗财务转账"案) 《刑法》第266条
诽谤罪 制作传播伪造的他人不雅视频、不当言论,情节严重 《刑法》第246条
侮辱罪 深度伪造贬损他人人格,情节严重 《刑法》第246条
制作、贩卖、传播淫秽物品牟利罪 利用AI"一键脱衣"制作贩卖淫秽图片 《刑法》第363条
非法利用信息网络罪/帮助信息网络犯罪活动罪 为深度伪造犯罪提供技术支持 《刑法》第287条之一、之二
编造、故意传播虚假信息罪 伪造险情、疫情、灾情、警情并传播 《刑法》第291条之一
📌 实务案例**:2023年内蒙古包头警方通报一起AI换脸诈骗案,犯罪分子利用AI换脸冒充受害人好友视频通话,10分钟骗走430万元。该案被公安部列为典型案例,凸显深度伪造的刑事风险已从"理论"变为"高发警情"。

四、AI生成内容标识的技术要求

根据《生成式人工智能生成合成内容标识办法》:

AI生成内容标识体系:
┌─────────────────────────────────────────┐
│ 显式标识:文本中明确标注"由AI生成"等字样 │
│ │
│ 隐式标识:数字水印/元数据嵌入(不易删除) │
│ │
│ 服务提供者须: │
│ · 提供显式标识工具 │
│ · 提供隐式标识(水印)技术 │
│ · 对生成内容进行来源追溯 │
└─────────────────────────────────────────┘

⚠️ 实务要点:隐式标识(元数据水印)具有不可见但可检测的特点,是监管部门溯源追责的技术基础。企业不可仅做显式标识而省略隐式标识。

五、AI标识制度操作指南

《生成式人工智能生成合成内容标识办法》(2025年9月1日施行)及强制性国标GB 45438—2025对标识作了技术级规定,企业与内容发布者的操作要点如下:

(一)服务提供者的义务清单

  1. 显式标识的位置与形式
  • 文本:在起始、末尾或中间适当位置添加文字提示或角标;
  • 图片:在图片的边或角添加文字提示,文字高度不低于画面最短边长度的5%;
  • 音频:在起始、末尾或中间添加语音提示或音频节奏标识;
  • 视频:在视频起始画面、末尾添加提示标识,位于画面底部,字高不低于画面最短边的5%,正常播放速度下持续不少于2秒;
  • 虚拟场景:在虚拟场景起始画面及持续服务过程中添加提示。
  1. 隐式标识的技术要求:在文件元数据中添加生成合成标签(属性信息包括生成合成服务提供者、内容编号等),鼓励采用数字水印。
  2. 用户协议衔接:在协议中明确标识义务,提示用户主动声明AI生成内容。
  3. 传播平台核验义务:网络信息内容传播平台(如社交平台)应核验文件元数据中的隐式标识,对未标识但声明或疑似AI生成的内容添加显著提示。

(二)内容发布者(用户)的义务

  • 主动使用平台提供的标识功能,不得恶意删除、篡改、伪造、隐匿标识;
  • 发布深度合成内容时主动声明,避免公众混淆。

(三)违规后果

  • 平台未落实标识义务:责令限期改正、警告、罚款、暂停服务;
  • 用户恶意去除标识传播虚假内容:依《网络安全法》《治安管理处罚法》处理,构成犯罪的追究刑责。
💡 制度创新:我国标识制度实行"生成端打标+传播端验标+用户端声明**"的三环联动,较欧盟AI Act第50条的透明度义务更具体系性和技术可操作性。

模块四:AI与个人信息保护的交叉

一、AI处理个人信息的法律基础

《个人信息保护法》第13条规定的合法性基础中,与AI场景最相关的是:

合法性基础 AI场景适用 注意事项
取得个人同意 用户主动使用AI服务 须真实、明确、自愿
订立履行合同所必需 AI服务的核心功能 不得扩张解释
履行法定义务 内容审核、安全检查 须有明确法律依据
应对突发公共卫生事件 疫情期间的AI辅助 严格限定
合理处理已公开个人信息 用公开数据训练 需在合理范围,对个人权益有重大影响须取得同意
⚠️ 关键限制:《个保法》第13条第6项允许"合理处理已合法公开的个人信息",但第27条规定"对个人权益有重大影响的,应当依照本法规定取得个人同意"。AI大模型训练往往涉及海量个人信息的规模化处理,通常被认为超出"合理范围"**,不能仅依赖"已公开"这一基础。

二、AI自动化决策的法律规制

《个人信息保护法》第24条:

"利用个人信息进行自动化决策,应当保证决策的透明度和结果公平、公正,不得对个人在交易价格等交易条件上实行不合理的差别待遇。

通过自动化决策方式向个人进行信息推送、商业营销,应当同时提供不针对其个人特征的选项,或者向个人提供便捷的拒绝方式

通过自动化决策方式作出对个人权益有重大影响的决定,个人有权要求个人信息处理者予以说明,并有权拒绝个人信息处理者仅通过自动化决策的方式作出决定。"

AI场景的三项核心义务:

  1. 透明度义务:告知用户存在自动化决策及其逻辑
  2. 公平公正义务:不得因算法偏见导致歧视性结果
  3. 拒绝权保障:提供不针对个人特征的选项/便捷拒绝方式;重大影响决定可要求说明并拒绝

三、自动化决策透明度要求的实务展开

《个保法》第24条的"透明度"并非抽象原则,而是可拆解为四层递进义务:

层级 义务内容 合规表现
存在告知 告知用户"存在自动化决策" 隐私政策专章说明;功能界面提示
逻辑说明 说明决策的基本原理、主要考虑因素 以通俗语言描述(如"根据您的浏览记录和购买历史推荐"),而非公开源代码
影响说明 重大影响决策应个人要求予以说明 个案说明义务(如信贷被拒后告知主要原因)
结果救济 提供拒绝、关闭、人工复核渠道 一键关闭个性化推荐;人工客服复核通道
📌 与比较法的衔接**:GDPR第22条赋予个人"不受完全基于自动化处理作出决定约束"的权利及"有意义的逻辑信息"知情权;欧盟AI Act第86条进一步确立高风险AI系统的"解释请求权"。我国第24条第3款的"说明权"功能上与之相当,但适用范围不限于高风险系统。

"算法解释权"与"源代码公开"的区分:法院在审理算法案件时,可以要求平台以日志、规则说明、参数权重等方式说明决策过程,而非直接公开源代码。这既保障了个体权利,也保护了商业秘密——此即课堂互动选择题所考查的核心区分。

四、算法歧视的法律责任

算法歧视的三种典型表现:

类型 表现 法律后果
价格歧视 "大数据杀熟" 《个保法》第24条、《消费者权益保护法》
就业歧视 AI招聘系统筛选简历时的性别/年龄偏见 《就业促进法》平等就业权
信贷歧视 风控模型对特定群体的系统性不利评价 《个保法》第24条、金融消费者保护

责任主体:AI服务提供者作为个人信息处理者,对自动化决策结果承担责任,不能以"算法黑箱""技术不可解释"抗辩。

📌 学术观点:徐伟在《人工智能数据安全审查制度的体系化构建》一文中提出,应建立针对AI系统的数据安全审查制度**,将算法公平性纳入审查范围,实现从"事后追责"到"事前预防"的治理转型。

五、AI面试、AI信贷等场景的反歧视规则

(一)AI面试场景

AI视频面试系统通过分析候选人的语音、表情、用词进行筛选,其法律风险集中于隐私歧视两端:

规则 内容 法源
告知与同意 使用AI分析视频面试前,须告知候选人并取得同意;候选人有权要求人工替代 美国伊利诺伊州《人工智能视频面试法》(2020);我国《个保法》第14条
偏见审计 自动化就业决策工具(AEDT)投入使用前及每年进行独立偏见审计并公示结果 美国纽约市Local Law 144(2023年7月执法)
平等就业 不得因民族、种族、性别、宗教信仰等不同而歧视 我国《就业促进法》第3条、第26条
敏感信息禁止 不得通过表情分析推断健康、性取向等敏感信息 我国《个保法》第28—29条(敏感个人信息单独同意);欧盟AI Act禁止工作场所情绪识别(第5条)

(二)AI信贷场景

规则 内容 法源
拒绝理由说明 信贷被拒时有权获知具体、准确的主要原因 美国《平等信贷机会法》(ECOA)及CFPB规则(明确适用于算法决策);我国《个保法》第24条第3款
变量合法性 不得将种族、性别、宗教信仰等受保护特征或其代理变量(如邮编、消费偏好)用于评分 我国《征信业务管理办法》;金融消费者保护规定
模型可解释 金融机构对模型输出承担最终责任,应能解释并验证模型 我国金融监管部门对金融机构信息科技外包与模型风险的管理要求

(三)典型案件镜鉴

  • 荷兰SyRI案(2020):海牙地方法院认定荷兰政府用于识别福利欺诈风险的大数据系统SyRI违反《欧洲人权公约》第8条(私生活受尊重权)——系统缺乏透明度与比例性保障,对贫困社区造成系统性监控。启示:算法系统的风险分级与影响评估必须前置。
  • 我国"大数据杀熟"第一案(2021):绍兴柯桥区法院审理的胡女士诉某OTA平台案,认定平台对老用户展示更高价格构成欺诈,判令"退一赔三"。启示:价格歧视不仅是行政违法,也构成民事欺诈。

六、AI场景下的个人信息保护影响评估(PIA)操作指南

《个保法》第55条明确,利用个人信息进行自动化决策处理敏感个人信息等情形,应当事前进行个人信息保护影响评估。AI系统上线前的PIA操作框架如下:

第一步:判断是否触发PIA

  • 利用个人信息进行自动化决策(第55条第2项)——AI面试、AI信贷、个性化推荐均属之;
  • 处理敏感个人信息(第55条第1项)——AI人脸识别、声纹识别、情感计算;
  • 委托处理、对外提供、公开、出境——AI供应链各环节逐一排查。

第二步:评估内容(《个保法》第56条三项法定内容)

  1. 个人信息的处理目的、处理方式等是否合法、正当、必要
  2. 对个人权益的影响及安全风险(歧视风险、泄露风险、重识别风险、自动化决策的误伤风险);
  3. 所采取的保护措施是否合法、有效并与风险程度相适应

第三步:AI专项评估要素(在法定三项基础上扩展)

  • 训练数据来源合法性核查结论;
  • 算法公平性测试报告(分群体准确率、差异影响分析);
  • 输出端风险(生成内容泄露训练数据中的个人信息);
  • 删除权、更正权的技术可行性(模型"遗忘"机制)。

第四步:形成评估报告与留痕

  • 评估报告至少包括:处理活动描述、评估结论、风险清单、缓释措施、复评计划;
  • 评估报告和处理情况记录应当至少保存三年(第56条第2款)——这是执法检查时的核心证据。

第五步:持续监测与复评

  • 模型重大更新、数据范围扩大、应用场景变更时重新评估;
  • 建立个人信息安全事件应急预案(第51条)。
💡 实务提示:PIA不是"填表作业",而是将合规论证书面化、证据化**的过程。在发生投诉或诉讼时,一份制作于事发之前的PIA报告是证明"已尽合理注意义务"的最有力证据。

模块五:AI治理的哲学反思——数据、劳动与异化(特色模块)

本模块契合本课程的理论定位**:从马克思主义法哲学视角审视AI与数据的关系,是本课程区别于一般AI法课程的理论深度所在。

一、"人工智能+"时代作为商品的数据

随着"人工智能+"行动深入推进,数据作为AI的核心生产要素,其商品属性日益凸显。马克思在《资本论》中揭示的商品二重性(使用价值与价值),在数据身上呈现出新的特征:

  • 使用价值:数据通过训练AI创造价值,且价值随使用场景而异(异质性)
  • 价值:数据的价值来源于数据采集、清洗、标注中的人类劳动
📌 学术观点:王水兴在《"人工智能+"时代作为商品的数据及其哲学批判》中指出,数据商品化过程中存在"价值归属失衡"**——数据创造的价值大量集中于平台与技术资本,而作为数据来源的普通用户并未获得相应回报。这一批判为理解"数据收益分配制度"提供了哲学基础。

二、数据作为AI"生产资料"的政治经济学分析

(一)数据的生产资料属性

在马克思的分析框架中,生产资料由劳动资料(工具、机器)与劳动对象(原材料)构成。AI产业中,数据呈现出双重的生产资料属性:

角色 表现 政治经济学意涵
作为劳动对象的数据 原始语料、图像、行为日志被投入训练,转化为模型能力 数据是AI生产的"原材料",其占有状况决定AI生产力的归属
作为劳动资料的数据 用户画像、行为数据反向用于优化推荐、调度劳动者(外卖骑手) 数据成为支配劳动过程的"新型机器"
作为商品的数据 数据交易、数据采购、数据资产入表 数据价值实现依赖流通,但其"生产成本"(用户无偿贡献)未被计酬

(二)"数据二十条"的制度回应

2022年12月《中共中央 国务院关于构建数据基础制度更好发挥数据要素作用的意见》("数据二十条")提出数据资源持有权、数据加工使用权、数据产品经营权"三权分置"的产权框架,其政治经济学意义在于:

  • 承认数据来源者(用户)的合法权益,探索"数据要素参与分配";
  • 在不设定单一"数据所有权"的前提下,通过使用权与经营权的分置促进流通;
  • 为AI训练数据的"合法来源"(《暂行办法》第7条)提供产权制度基础。
💡 理论连接点**:马克思指出,生产资料的占有关系决定分配关系。当训练数据被少数平台无偿占有,AI收益必然向资本集中——这正是"数据要素参与分配"改革试图矫正的结构性失衡。

三、AI时代的异化风险

马克思的"异化劳动"理论在AI时代呈现出新的形态:

异化维度 传统形态 AI时代新形态
劳动者与产品异化 工人不拥有产品 用户数据被平台占有,用户反被数据画像支配
劳动过程异化 劳动受资本支配 "幽灵劳动"(数据标注工)被算法管理
人的类本质异化 劳动降为谋生手段 人的认知与判断被AI替代,主体性弱化
人与人异化 阶级对立 算法中介下的社会关系物化
📌 学术观点:相关研究指出AI背后的"幽灵劳动"(Ghost Work)——即数据标注、内容审核等隐性人力劳动——构成了AI运转的真实基础,但这些劳动者往往处于劳动保障的边缘地带。这提示我们:AI并非"无人工的智能",其法律规制不能回避对劳动过程的关注**。

四、"算法权力"的法哲学反思

(一)算法权力:一种新型权力形态

传统法理学以"国家—公民"为权力分析的基本框架,但算法正在形成第三种权力:

权力形态 主体 作用机制 传统规制工具
国家权力 政府 法律、行政强制 宪法、行政法
市场权力 企业 合同、财产权 民商法、反垄断法
算法权力 平台+技术系统 代码架构、数据画像、自动化决策 传统工具部分失效

算法权力的特殊性在于:(1)隐蔽性——用户感知不到被权力作用;(2)自动化——决策无人工介入,传统程序正当性(听证、申辩)无法附着;(3)跨域性——一套算法可同时影响数亿人的信息获取、消费、信贷与就业。

📌 学术观点:张凌寒在《算法权力的兴起、异化及法律规制》中指出,算法权力异化为"技术利维坦"的风险,要求以算法透明、算法审计、算法问责**重建权力制衡。这与福柯关于"规训权力"通过环境与惯例而非命令运作的分析高度呼应——算法正是数字时代最典型的"环境式规训"。

(二)对算法权力的法律规制框架

  1. 赋权路径:算法解释权、拒绝权、关闭推荐权(《个保法》第24条、《算法推荐管理规定》第17条)——以个体权利对抗权力;
  2. 透明路径:算法备案、公示基本原理、训练数据摘要披露——以公开制约权力;
  3. 问责路径:算法审计、安全评估、PIA——以程序约束权力;
  4. 结构路径:反垄断、互操作义务、公共数据开放——以分散化消解权力集中。

五、训练数据的"剥削"之问与制度回应

数字经济时代存在"数据剥削"风险。在AI场景下,这一风险表现为:

  • 用户的创作、表达被无偿采集用于模型训练
  • 模型的商业收益未回馈数据来源群体
  • 数据标注工的劳动价值被低估

制度回应方向:

  1. 收益分配机制:探索数据来源者的合理回报机制(如数据信托、集体授权)
  2. 劳动权益保障:将数据标注工纳入劳动法规制范围
  3. 透明度义务:训练数据来源披露,接受社会监督
  4. 公共数据开放:以公共数据降低对私人数据的依赖

六、马克思主义法哲学视角下的AI治理原则

原则 内涵 制度体现
以人为本 技术服务于人而非支配人 自动化决策拒绝权、算法解释权
公平正义 防止技术加剧社会不平等 算法公平审查、反歧视制度
劳动价值论 承认数据生产中的人类劳动 数据权益分配、标注工权益
统筹发展与安全 不以安全为由窒息创新 分级分类监管、沙盒试点
💡 课堂讨论**:有一种观点认为"AI将促进物质极大丰富,为共产主义创造条件";另一种观点认为"AI在资本主义生产关系下只会加剧剥削与两极分化"。你如何看待这两种判断?请结合数据要素的产权制度设计谈谈你的看法。

模块六:全球AI治理比较与中国方案

一、三大治理模式对比

维度 中国 欧盟 美国
立法模式 专项法规先行+综合性立法推进 统一立法(EU AI Act) 联邦分散+州级立法
监管理念 发展与安全并重、分级分类 风险分级、严格预防 鼓励创新、行业自律
训练数据 强调来源合法、不侵权 要求披露训练数据摘要 依赖版权诉讼个案解决
处罚力度 责令暂停服务、罚款 最高全球营收7% 视具体法律而定
特色制度 生成内容标识、安全评估备案 高风险系统合规评估 前沿模型安全报告

二、欧盟AI Act详解(Regulation (EU) 2024/1689)

欧盟AI Act于2024年8月1日生效,是全球第一部综合性AI立法,采取"基于风险"(risk-based)的规制架构,分阶段实施:2025年2月禁止类条款与AI素养义务生效;2025年8月通用AI模型义务生效;2026年8月高风险系统义务全面适用。

(一)风险四级分类

风险等级 典型AI应用 法律后果
不可接受风险(禁止类,第5条) 社会评分系统;潜意识操纵;利用脆弱性;基于画像的预测性警务;工作场所与学校的情绪识别;无差别抓取人脸图像建库;公共场所实时远程生物识别执法(有严格例外) 禁止投放市场与使用,违者最高罚3500万欧元或全球年营业额7%
高风险(附件III列举8领域) 生物识别;关键基础设施管理;教育与职业培训;就业与劳动者管理;基本服务获取(信贷、保险、福利);执法;移民与边境管理;司法与民主程序 承担全链条合规义务,投放市场前须通过合规评估并注册
有限风险(透明度义务,第50条) 聊天机器人、情感识别、深度伪造生成系统 告知用户其正在与AI交互;AI生成内容须以机器可读方式标识
最小风险 垃圾邮件过滤、游戏AI等 无强制义务,鼓励行为准则

(二)高风险AI系统的义务体系(第8—15条及配套条款)

  1. 风险管理系统(第9条):全生命周期持续识别、评估、缓释风险;
  2. 数据与数据治理(第10条):训练、验证、测试数据应具有相关性、代表性,并检查偏见;
  3. 技术文档(第11条):足以证明合规的完整文档;
  4. 记录保存(第12条):自动生成日志,全程可追溯;
  5. 透明度与使用说明(第13条):使部署者能够正确解释和使用输出;
  6. 人工监督(第14条):确保自然人能够干预、推翻系统(human oversight);
  7. 准确性、稳健性与网络安全(第15条);
  8. 附加义务:合规评估(CE标志)、欧盟数据库注册、质量管理体系、上市后监测、严重事件报告(15日内向监管机关报告);部署者还须开展基本权利影响评估(FRIA,第27条)。

(三)通用目的AI模型(GPAI)规则(第53—55条)

模型类型 义务
一般GPAI模型(如GPT、Gemini等) 编制技术文档;向下游集成者提供信息;制定遵守欧盟版权法的政策(含TDM权利保留识别);公开训练内容的足够详细摘要
具有系统性风险的GPAI模型(累计训练算力超过10^25 FLOPs或被指定) 前述义务+模型评估与对抗测试;评估并缓释系统性风险;追踪并报告严重事件;确保充分的网络安全保护
📌 考点提示:欧盟的"训练数据摘要披露义务"与我国《暂行办法》第7条的"来源合法义务"功能相近但机制不同——欧盟靠事后披露+版权诉讼制衡,我国靠事前合规+行政执法**保障。

(四)处罚梯度(第99条)

违规情形 最高罚款
违反禁止类AI规定 3500万欧元或全球年营业额7%
违反高风险义务、GPAI义务等 1500万欧元或全球年营业额3%
向监管机构提供误导信息 750万欧元或全球年营业额1.5%

(五)治理架构:欧盟设AI办公室(AI Office)负责GPAI监管;各成员国指定市场监督机构;设AI委员会、科学小组与咨询论坛协同治理。

三、美国AI治理的最新发展

(一)联邦层面:行政命令主导的"政策摇摆"

时间 举措 核心内容
2023年10月 拜登EO 14110《安全、可靠、可信的AI行政令》 援引《国防生产法》要求前沿模型开发者向政府报告安全测试结果;责成NIST制定标准;设AI安全研究所
2023年7月 白宫自愿承诺 OpenAI、Anthropic、Google、Meta、Microsoft等企业承诺外部红队测试、水印、安全研究共享
2025年1月 特朗普撤销EO 14110,签署EO 14179 政策转向"消除AI发展障碍",强调美国全球AI主导地位
2025年7月 《赢得AI竞赛:美国AI行动计划》+三项行政令 三大支柱:加速AI创新、建设AI基础设施、国际AI外交与安全;放松数据中心审批、推动AI出口、要求联邦采购的AI"意识形态中立"

(二)州级立法:监管真空的填补者

州/市 立法 要点
科罗拉多州 SB 24-205《消费者AI保护法》(2024年签署,生效推迟至2026年6月) 全美首部州级综合AI法;高风险AI开发者与部署者负"合理注意义务"防范算法歧视
加利福尼亚州 SB 53《前沿AI透明度法案》(2025年签署,2026年1月生效) 前沿模型开发者须发布安全框架、报告关键安全事件、保护吹哨人
得克萨斯州 TRAIGA(2025年签署,2026年1月生效) 禁止AI操纵行为、歧视与政府社会评分;政府使用生成式AI须披露
伊利诺伊州 《人工智能视频面试法》(2020) AI分析视频面试须告知并取得同意
纽约市 Local Law 144(2023年执法) 自动化就业决策工具(AEDT)年度偏见审计与公示

(三)行业自律与技术标准:NIST《AI风险管理框架》(AI RMF 1.0,2023年1月)及《生成式AI概要》(2024年7月)成为事实上的行业合规基准;企业自律承诺虽无法律强制力,但构成"软法"治理的主要载体。

💡 模式评析:美国模式的特点是"联邦行动快而浅、州立法慢而深、司法个案定分止争**"。其优势是创新空间最大,代价是规则碎片化与监管不确定性——训练数据合法性等基础问题长期悬而未决,正是这一模式的直接后果。

四、其他法域的AI治理模式

(一)英国:"原则性、去中心化"的促进创新路径

  • 2023年3月发布白皮书《支持创新的AI监管方法》,确立五项原则(安全稳健、透明可解释、公平、问责治理、可争议与救济),但不新设AI监管机构、不制定统一AI法,而由ICO(信息专员办公室)、FCA(金融行为监管局)、Ofcom(通信管理局)等现有监管机构按行业落实原则;
  • 2023年11月主办布莱切利AI安全峰会,通过《布莱切利宣言》;成立全球首个AI安全研究所(AI Safety Institute,2025年更名AI Security Institute),专注前沿模型评估;
  • 2025年就版权与AI公开磋商,倾向建立"权利保留"式TDM例外。

(二)日本:"软性治理+最宽版权例外"

  • 著作权法第30条之4(2019年)确立全球最宽松的TDM例外,为AI训练提供明确合法通道;
  • 2025年通过《人工智能相关技术的研究开发及应用推进法》(AI推进法):以政府制定基本计划、开展风险调查、发布指导劝告为主要工具,不设处罚条款,体现"促进优先、以导代罚"的治理哲学。

(三)韩国:全球第二部综合性AI立法

  • 《人工智能发展与信任基础基本法》(AI基本法)2025年1月国会通过,2026年1月22日施行
  • 核心制度:高影响AI(能源、医疗、招聘、信贷等领域)的风险管理与透明度义务;生成式AI内容标识义务;域外适用与外国企业国内代理制度;最高3000万韩元罚锾;
  • 特点:在欧盟模式与促进产业发展之间寻求平衡,义务强度低于AI Act。

(四)其他重要法域与国际协调

主体 机制 要点
新加坡 Model AI Governance Framework(2019/2020)、生成式AI治理框架(2024)、AI Verify测试工具 自愿性框架+技术测试工具,"以技术治理技术"
加拿大 AIDA(C-27法案组成部分) 2025年因议会解散未能通过,综合立法受挫
印度 《DPDP法》(2023)、IndiaAI使命 以数据保护立法为依托,AI专项立法酝酿中
欧洲委员会 《AI与人权、民主和法治框架公约》(2024年9月开放签署) 全球首个AI国际条约,美、英、欧等签署
联合国 大会决议(2024年3月美国牵头"安全可信AI系统";7月中国牵头"AI能力建设国际合作") 全球南方视角与发展权议题进入AI治理议程
G7 广岛AI进程(2023) 发达经济体间的前沿AI国际行为准则
📌 比较法小结:全球AI治理呈现"欧盟重规则、美国重创新、中国重安全、日韩重平衡、英国重原则**"的多元格局。多元背后的共同趋势是:风险分级、透明度义务、内容标识、训练数据披露正在成为"最大公约数"。

五、中国方案的制度特色

特色一:全球首部生成式AI专项立法

《生成式人工智能服务管理暂行办法》(2023年8月15日)是全球首部针对生成式AI的专门法规,体现了中国在AI治理上的制度创新能力。

特色二:分级分类的务实路径

不搞"一刀切",而是根据服务的应用场景、影响范围、风险等级设定差异化义务——具有舆论属性或社会动员能力的服务承担更重义务。

特色三:标识制度的技术治理创新

通过"显式标识+隐式标识"的双重机制,实现AI生成内容的可追溯,这是中国在全球AI治理中的原创性制度贡献。

特色四:安全治理框架的持续迭代

《人工智能安全治理框架》2.0版的发布,体现了治理规则随技术演进动态更新的能力。

📌 权威资源**:清华大学人工智能国际治理研究院发布《人工智能治理框架与实施路径》报告,系统提出了我国AI治理的框架性思路,是理解中国方案的重要文献。

课堂互动环节

判断题(共7题)

题目1:AI模型训练属于高度转化性使用,因此无论数据来源是否合法,均不构成侵权。(  )

答案:✗ 错误。美国Anthropic案(2025年)明确区分了"训练行为"与"获取行为"——训练可能构成合理使用,但明知盗版仍获取的行为本身构成侵权。我国《暂行办法》第7条亦明确要求"使用具有合法来源的数据"。

题目2:《生成式人工智能服务管理暂行办法》是我国,也是全球首部针对生成式AI的专项法规。(  )

答案**:✓ 正确。该办法2023年8月15日施行,是全球首部生成式AI专项立法。

题目3:AI生成的图片、视频等内容,平台只需添加显式标识即可,无需隐式标识。(  )

答案:✗ 错误。《生成式人工智能生成合成内容标识办法》要求同时提供显式标识工具和隐式标识(元数据水印)技术。

题目4:只要是互联网上已公开的个人信息,AI企业就可以直接用于模型训练,无需取得同意。(  )

答案:✗ 错误。《个保法》第27条规定,合理处理已公开的个人信息须在"合理范围"内;对个人权益有重大影响的仍须取得同意。大模型规模化训练通常超出合理范围。

题目5:用户通过精心设计提示词生成的AI图片,在任何情况下都不可能构成作品。(  )

答案:✗ 错误。当用户对生成内容的表达形式作出独创性选择与安排时,可能构成作品(北京互联网法院相关判决立场)。

题目6:欧盟AI Act对通用目的AI模型(GPAI)不设任何合规义务,仅要求标识生成内容。(  )

答案:✗ 错误。AI Act第53条对GPAI模型课以技术文档、版权政策、公开训练内容摘要**等义务;具有系统性风险的GPAI模型还须进行对抗测试与严重事件报告(第55条)。

题目7:日本《著作权法》第30条之4在原则上允许为机器学习目的利用作品,而无需逐一取得著作权人授权。(  )

答案:✓ 正确。该条确立"非欣赏性利用"例外,是全球最宽松的TDM规则;但不得"不合理损害著作权人利益",2024年日本文化厅就此发布了适用指引。

选择题(单选)

题目一:根据我国《个人信息保护法》第24条,通过自动化决策方式作出对个人权益有重大影响的决定,个人不享有下列哪项权利?

A. 要求说明的权利

B. 拒绝仅通过自动化决策方式作出决定的权利

C. 要求公开算法源代码的权利

D. 要求保证决策透明度和结果公平公正的权利

答案:C

解析:《个保法》第24条规定了透明度与公平公正义务(A、D相关)、重大影响决定的说明权与拒绝权(B),但未赋予个人要求公开算法源代码的权利。算法解释权不等于源代码公开权,这是平衡商业秘密保护与个体权利的制度设计。

题目二:关于中美AI生成内容版权规则,下列哪一表述是正确的?

A. 美国版权局认为,精心设计的提示词足以使AI生成图片整体构成用户作品

B. 北京互联网法院在李某诉刘某案中认为,用户的独创性智力投入可使AI文生图构成美术作品

C. 中美两国均承认AI本身可以成为版权法上的作者

D. 美国Thaler案判决AI自主生成的图像可以获得版权登记

答案:B

解析:美国版权局立场保守,认为提示词一般只是"指令"而非"表达"(排除A);两国均坚持"人类作者"要件(排除C);Thaler案两级法院均维持驳回登记(排除D)。B项准确反映了北京互联网法院〔(2023)京0491民初11279号〕判决。

延伸思考题(共7题,任选2题作答)

思考题1:Anthropic 15亿美元和解案和Kadrey v. Meta合理使用判决,揭示了AI训练数据来源合法性的核心问题。请结合这两起案件,分析AI训练数据的版权合规路径,以及我国《生成式人工智能服务管理暂行办法》对此问题的规制框架。

思考题2:请结合我国《网络安全法》2026年修订和国务院2026年立法工作计划,分析我国AI立法从"补丁式治理"向"体系化立法"转型的背景、意义和主要内容。

思考题3:AI生成内容的版权问题在国内外均存在争议。请分析AI生成内容的版权保护条件,并讨论创作者利用AI工具创作时的版权归属规则。

思考题4(哲学向):请结合马克思主义的异化劳动理论,分析"人工智能+"时代数据商品化过程中可能出现的异化风险,并从法律制度设计角度提出应对思路。(提示:可参考数据收益分配、劳动权益保障、透明度义务三个方向)

思考题5(前沿规制):2026年《人工智能拟人化互动服务管理暂行办法》将规制重心从"内容安全"扩展到"心理安全与关系安全"。请结合AI伴侣应用引发的现实争议(如未成年人情感依赖、AI诱导自伤事件),分析"情感依赖防范义务"与"危机干预义务"的法理基础,并讨论此类义务与经营自由、表达自由之间可能的张力。

思考题6(实务操作):某互联网公司拟上线一款AI信贷审批产品,将依据用户消费记录、社交关系、地理位置等数据进行自动化授信。请依据《个人信息保护法》第24条、第55—56条,为该公司设计一份个人信息保护影响评估(PIA)方案提纲,并说明自动化决策透明度义务在该场景下的具体落实方式。

思考题7(比较法):欧盟AI Act采取"统一立法+风险分级+高额罚款"的强监管模式,美国采取"联邦行政令+州级立法+行业自律"的分散模式,我国采取"专项法规先行+体系化立法推进"的渐进模式。请比较三种模式的制度逻辑与适用条件,并评价:在生成式AI训练数据规制问题上,何种模式更能兼顾权利保护与技术发展?


课后延伸阅读

核心法规

  1. 国务院:《新一代人工智能发展规划》(2017年)
  2. 国家网信办等:《生成式人工智能服务管理暂行办法》(2023年8月15日)
  3. 国家网信办:《互联网信息服务深度合成管理规定》(2023年1月10日)
  4. 国家网信办:《互联网信息服务算法推荐管理规定》(2022年3月1日)
  5. 国家网信办:《生成式人工智能生成合成内容标识办法》(2025年9月1日)
  6. 全国人大常委会:《网络安全法》(2026年修订)
  7. 欧盟:EU AI Act(Regulation (EU) 2024/1689,2024年8月1日生效)
  8. 《中共中央 国务院关于构建数据基础制度更好发挥数据要素作用的意见》("数据二十条",2022年12月)
  9. 韩国:《人工智能基本法》(2026年1月22日施行)
  10. 欧盟:《数字单一市场版权指令》(Directive (EU) 2019/790)第3、4条
  11. 日本:《著作权法》第30条之4(2019年修订)
  12. 欧洲委员会:《人工智能与人权、民主和法治框架公约》(2024年)

权威报告与框架

  1. 《人工智能安全治理框架》2.0版
  2. 清华大学人工智能国际治理研究院:《人工智能治理框架与实施路径》
  3. 中国信息通信研究院:《人工智能白皮书》
  4. 《人工智能风险治理报告》
  5. 中央网信办:《人工智能拟人化互动服务管理暂行办法》专家解读
  6. NIST:《AI风险管理框架》(AI RMF 1.0)及《生成式AI概要》(2024年7月)
  7. 美国版权局:《版权与人工智能》第二部分:可版权性报告(2025年1月)
  8. 日本文化厅:《关于AI与著作权的基本观点》(2024年)

学术文献

  1. 亓蕾:《人工智能训练数据的法律风险与制度供给》
  2. 梅夏英:《人工智能立法的基本问题:算法规训及其场景中的人机关系》,《法学家》
  3. 周辉、魏日升:《动态演进中的人工智能治理范式——以〈人工智能示范法〉更新迭代为视角》
  4. 罗有成:《数字法学的理论范式及独立性》,西南政法大学人工智能法学院
  5. 杨贝:《人工智能时代法律方法的研究与应用》,《中国应用法学》
  6. 徐伟:《人工智能数据安全审查制度的体系化构建》
  7. 李安:《人工智能时代数据竞争行为的法律边界》
  8. 王水兴:《"人工智能+"时代作为商品的数据及其哲学批判》
  9. 张凌寒:《算法权力的兴起、异化及法律规制》,《法商研究》2019年第4期
  10. 王迁:《论人工智能生成的内容在著作权法中的定性》
  11. 相关研究:《人工智能异化风险的实践法哲学反思》《"人工智能背后的人工非智能":幽灵劳动的运行模式及其堆栈机理》

比较法案例

  1. Bartz v. Anthropic PBC (N.D. Cal. 2025)
  2. Kadrey v. Meta Platforms, Inc. (N.D. Cal. 2025)
  3. Thaler v. Perlmutter (D.D.C. 2023; D.C. Cir. 2025)
  4. 北京互联网法院:李某诉刘某案〔(2023)京0491民初11279号〕(AI文生图著作权案)
  5. 北京互联网法院:菲林律所诉百度案〔(2019)京0491民初239号〕
  6. 深圳市南山区法院:腾讯诉盈讯科技案〔(2019)粤0305民初14010号〕
  7. 广州互联网法院:"奥特曼"生成式AI侵权案〔(2024)粤0192民初113号〕
  8. 荷兰海牙地方法院:SyRI福利欺诈检测系统案(2020)

📮 课后任务:请查阅《人工智能安全治理框架》2.0版或清华大学《人工智能治理框架与实施路径》报告(IMA知识库可检索),提炼其中与数据治理直接相关的3条规则,并结合本讲内容写一段500字评析。