《人工智能安全治理框架》2.0版

微信扫码，打开到小程序

⼈⼯智能 安全治理框架2.0 全国⽹络安全标准化技术委员会 National Technical Committee 260 on Cybersecurity of SAC 国家计算机⽹络应急技术处理协调中⼼ National Computer Network Emergency Response Technical Team/Coordination Center of China 2025年9⽉ AI Safety Governance Framework 2.0目 录 1.⼈⼯智能安全治理原则...................................................................... 2.⼈⼯智能安全治理框架构成................................................................ 3.⼈⼯智能安全⻛险分类...................................................................... 3.1
⼈⼯智能技术内⽣安全⻛险............................................................. 3.2
⼈⼯智能技术应⽤安全⻛险............................................................. 3.3
⼈⼯智能应⽤衍⽣安全⻛险............................................................. 4.技术应对措施..................................................................................... 4.1
技术内⽣安全⻛险的应对措施......................................................... 4.2
技术应⽤安全⻛险的应对措施......................................................... 4.3
应⽤衍⽣安全⻛险的应对措施......................................................... 5.综合治理措施.................................................................................... 5.1
建⽴健全⼈⼯智能安全法律法规.......................................................... 5.2
构建⼈⼯智能科技伦理准则.................................................................. 5.3
提升研发应⽤全⽣命周期安全能⼒...................................................... 2 3 4 4 6 8 9 9 11 12 13 13 13 14 . .5.4
强化开源⽣态安全和供应链安全..................................................... 5.5
实施应⽤分类及安全⻛险分级管理............................................... 5.6
推⼴⼈⼯智能⽣成合成内容可追溯管理........................................ 5.7
安全有效释放重要⾏业应⽤需求................................................... 5.8
建设⼈⼯智能安全测评体系........................................................... 5.9
共享⼈⼯智能安全⻛险威胁信息.................................................... 5.10
完善数据安全和个⼈信息保护规范.............................................. 5.11
增进协同应对⼈⼯智能失控⻛险的共识...................................... 5.12
加⼤⼈⼯智能安全⼈才培养⼒度................................................. 5.13
提升全社会的⼈⼯智能安全意识................................................. 5.14
促进⼈⼯智能安全治理国际交流合作......................................... 6.⼈⼯智能研发与应⽤的安全指引....................................................... 6.1
⼈⼯智能模型算法研发的安全开发指引........................................ 6.2
⼈⼯智能应⽤建设部署的安全指引................................................ 6.3
⼈⼯智能应⽤运⾏管理的安全指引................................................ 14 14 14 15 15 15 15 16 16 16 16 17 17 19 20附件1
⼈⼯智能安全⻛险的分级原则.................................................... 6.4
⼈⼯智能应⽤访问使⽤的安全指引................................................ 附件2
可信⼈⼯智能基本准则.............................................................. 附件3
术

语........................................................................................ 致谢................................................................................................... 21 24 27 29 31Content 1. Principles for AI safety governance................................................. 2. Framework for AI safety governance.............................................. 3. Classification of AI safety risks......................................................... 3.1 Inherent safety risks of AI technology........................................... 3.2 Application safety risks associated with AI technology.............. 3.3 Derivative safety risks from AI application.................................. 4. Technological countermeasures to address risks......................... 4.1 Safeguards against inherent safety risks...................................... 4.2 Safeguards against application safety risks................................. 4.3 Safeguards against application-related secondary safety risks........................................................................................................ 5. Comprehensive governance measures.......................................... 5.1 Formulating and improving laws and regulations for AI safety...................................................................................................... .. 35 38 39 40 43 46 49 49 51 53 54 555.2 Establishing ethical principles for AI technology........................ 5.3 Enhancing safety throughout the full life-cycle, including R&D and application........................................................................... 5.4 Strengthening open-source ecosystem safety and supply chain safety........................................................................................... 5.5 Implementing AI application classification and risk
grading
management........................................................................................ 5.6 Promoting traceable management of AIGC............................... 5.7 Unlocking key industry application demands in a safe and effective manner................................................................................... 5.8 Establishing an AI safety assessment system.............................. 5.9 Sharing information on AI risks and threats................................ 5.10 Improving data security and personal information protection regulations......................................................................... 5.11 Fostering consensus on collaborative response to loss-of- control AI risks...................................................................................... 5.12 Strengthening AI safety talent cultivation.................................. 55 56 56 57 57 58 58 59 59 60 605.13 Enhancing society-wide awareness of AI safety........................ 5.14 Promoting international exchange and cooperation on AI safety governance................................................................................ 6.
Safety
guidelines
for
AI
research,
development
and
application.. 6.1 Safety guidelines for developing AI models and algorithms..... 6.2 Safety guidelines for developing and deploying AI applications........................................................................................... 6.3 Safety guidelines for operating and managing AI applications .. 6.4 Safety guidelines for accessing and using AI applications........ Appendix
1
The
grading
principles
for
AI
safety
risks........................ Appendix
2
Fundamental
principles
for
trustworthy
AI.................... Appendix
3
Terminology................................................................... Acknowledgements......................................................................... 61 61 62 62 65 67 70 72 76 79 82人工智能安全治理框架2.0 前 言 ⼈⼯智能是⼈类发展新领域，
深刻改变⼈类⽣产⽣活⽅式，
给世界带 来前所未有发展机遇，

也带来前所未遇⻛险挑战。

落实《全球⼈⼯智能治 理倡议》，

遵循“以⼈为本、智能向善”的发展⽅向，

为推动各国政府、

⾏业 企业、

机构组织、

社会公众等各⽅以及国际社会，

就⼈⼯智能安全治理达 成共识、

协调⼀致，
有效防范应对⼈⼯智能安全⻛险，
我们于2024年9⽉制 定发布了《⼈⼯智能安全治理框架》1.0版。 1.0版发布以来，
⼈⼯智能技术和应⽤持续快速发展，
个别领域取得超 预期突破。

例如，

⾼性能推理模型涌现，

极⼤提⾼了对数学、

物理、

代码 等复杂问题的求解能⼒；

⾼效能轻量级模型的开源，

显著降低了部署应⽤ 的⻔槛，

⼈⼯智能应⽤迅速向各⾏业领域渗透普及；

⼤模型应⽤形态从机 器问答向嵌⼊业务流程的智能体演进，

加速与业务系统融合；

具⾝智能、
脑 机接⼝技术⽇新⽉异，

正在打通连接数字智能和物理世界的“最后⼀公⾥”，

⼈机融合的智能时代已不再遥不可及。

与此同时，

⼈⼯智能安全⻛险的表 现形式、

影响程度、

认识感知亦同步快速演进变化。 为应对⼈⼯智能快速发展的新⻛险新挑战，安全有效地释放应⽤需求，

促进⼈⼯智能技术和产业发展，

在国家互联⽹信息办公室的指导下，
全国⽹ 络安全标准化技术委员会组织国家计算机⽹络应急技术处理协调中⼼等 专业机构、

科研院所、

⾏业企业，

持续跟踪⻛险变化，

梳理调整⻛险分类，

研究探索⻛险分级⽅法，动态调整更新防范治理措施，
制定《⼈⼯智能安全 治理框架》2.0版，

推动增进⼈⼯智能安全治理共识，

促进协同共治、

普惠 共享。 - 1 -秉持共同、

综合、

合作、

可持续的安全观，

坚持发展和安全并重，

以 促进⼈⼯智能创新发展为第⼀要务，

以有效防范化解⼈⼯智能安全⻛险为 出发点和落脚点，

构建技术与管理相结合、

监管与治理相衔接、

国内与国 际相协同、

社会各⽅积极参与且有效互动的治理机制，

压实相关主体安全 责任，

打造全过程全要素治理链条，

培育安全、

可靠、

公平、

透明的⼈⼯ 智能技术研发和应⽤⽣态，

积极研究应对⼈⼯智能灾难性⻛险的共识性准 则，

推动⼈⼯智能健康发展和规范应⽤，

切实维护国家主权、安全和发展 利益，

保障公⺠、
法⼈和其他组织的合法权益，

确保⼈⼯智能技术造福于 ⼈类。 1.1 包容审慎、

确保安全。

⿎励发展创新，

对⼈⼯智能研发及应⽤采 取包容态度，

通过在安全可控环境下试点等⽅式，

为新技术新应⽤发展提 供容错纠错空间。

严守安全底线，对危害国家安全、

社会公共利益、

公众合 法权益的⻛险及时采取措施。 1.2 ⻛险导向、

敏捷治理。

密切跟踪⼈⼯智能研发及应⽤趋势，

从技 术⾃⾝、

技术应⽤、

衍⽣社会影响等⽅⾯分析梳理安全⻛险；

探索从应⽤ 场景、

智能化⽔平、

应⽤规模等维度进⾏⻛险分级，

进⽽采取相适应的应 对措施；

持续优化治理机制和⽅式，

对确需政府监管事项及时予以响应。 1.3

技管结合、


协同应对。


⾯向⼈⼯智能研发应⽤全过程，

以及模型 开源业态新挑战，

综合运⽤技术、

管理措施，

防范应对不同类型⻛险。

围绕 ⼈⼯智能研发应⽤⽣态链，

明确模型算法研发者、

服务提供者、