二、生成式 AI 的伴生风险 8.技术漏洞导致技术风险，会泄露数据、外部攻击等社 会安全风险 从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 （九） 。 ·数据泄露风险。大模型需要海量数据，数据在清洗、 处理、传输过程存在数据非法获取或泄露风险，包括个人隐 私数据、商业敏感数据、政府机密数据等各种类型数据。如 果大模型在训练数据时看到很多密钥信息，它很可能在内容 容 生成时输出真实的密钥信息。2024 年 1 月，意大利隐私监管 机构 Garante 发布调查结论，ChatGPT 以及用于收集用户数 据的技术违反欧盟《通用数据保护条例》 （GDPR）。早在 2023 年 3 月，Garante 就宣布禁止使用 ChatGPT，并限制 OpenAI 处理意大利用户信息。因为在 2023 年 3 月，ChatGPT 出现 用户对话数据和付款服务支付信息丢失情况。而且，OpenAI 堆序列号，并且大多数是真实有效的。人们通过提示词给 AI 讲故事，通常是经过一些巧妙的包装，里面掺杂了有争议 的内容（就像开头提到的制造炸弹那个例子）。故事讲到一 半，剩下的交给 AI 模型，后者由于拥有强大的文本生成的 能力，会忠实地把缺失的部分回答完整。攻击者通过 LLM 输出其在训练数据中所存在的不符合伦理道德的数据，产生 存在社会偏见的回答，如性别、种族或其他偏见，导致不公 平的结果，对社会和个体的稳定性、安全性和隐私性构成潜

从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 （一） 人工智能领域近年来正在迎来一场由生成式人工智能 大模型引领的爆发式发展。全球掀起一场大模型热潮， Gemini、Copilot、LLaMA、SAM、SORA 等国外大模型如雨 后春笋般涌现，中国也掀起百模大战，2022 年被誉为大模型 元年。人工智能正逐渐深入地赋能千行百业，推动人工智能 与数据要素成为新质生产力的典型代表。[1]从 强调要重视通用人工智能发展，营造创新生态，重视防范风 险。我们如何看待和认知人工智能的安全问题特别是政治文 化安全问题，首先需要认清人工智能在信息生成和输出方面 的媒介特质。 一、生成式 AI 的媒介特质 1.一种媒介特质：生成式 AI 是一种大规模信息传播媒 介。生成式 AI 的未来，不仅是无所不能、无所不在的一个 工具，更是无所不包、无所不达的一种媒介。众所周知，媒 介是信息传递的载体，是携带和传递信息的一切形式，既包 作为一种新生媒介，ChatGPT、AGI 与传统媒介的最大区别 是利用算法生成和传播内容。这种内容生成方式被称作 AIGC（人工智能生产内容），即由人工智能作为内容创作主 体，利用深度学习算法与场景决策模型等技术生成内容，是 继用户自己生产内容（UGC，如个人自媒体）、专业人员生 产内容（PGC，如报纸杂志）后一种自动化生成内容的新方 式。可以说，ChatGPT 代表的以数据和算法驱动的智能传播，

二、生成式 AI 的伴生风险 4.合成数据导致近亲繁殖，会让互联网信息出现劣币驱 逐良币现象。OpenAI 在训练 GPT-5 时已经遇到文本数据不 足问题，不得不考虑使用 Youtube 视频转录出的文本数据。 当下，数据生产存量的增长速度远远低于数据集规模的增长 速度。据人工智能研究机构 Epoch AI 在 6 月 4 日发布的论 文预测，未来 10 年内数据增长速度将无法支持大模型的扩 乎无法用于大模型训练。如何克服人类文本数据的瓶颈。第 一种是利用 AI 生成数据，如 OpenAI 模型每天能够生成相当 于 Common Crawl 中优质单词总数的 36.5T 个单词，远快于 人类生成文本的速度。第二种是利用多模态和迁移学习，超 越文本数据从其他领域获取数据，比如视频、图像、金融市 场数据或科学数据库。[1 从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 （五） ] 不过，这并非是解决问题的良策。如果网上大部分文本都是 AI 生成的，而用合成数据训练的大模型会发生什么？ 大模型开发需要更多数据进行训练，而由 AI 生成的合成数 据很快进入了训练新模型的数据集，并随着每一代模型而不 断积累。越来越多证据显示，人工智能生成的文本，即使被 引入训练数据集的量很少，最终也会对训练中的模型产生 “毒害”。[2]研究人员将一些由 AI 生成的语料作为训练数 据，“投喂”给一个正在训练的语言模型，然后使用它所输

从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 （六） 二、生成式 AI 的伴生风险 5.人机能力非对称导致“自主欺骗”，会有目的欺骗人 类甚至主动欺诈和选举篡改。2023 年，OpenAI 提出超级对 齐（superalignment）[1]概念，即当超级智能拥有比人类更 丰富的世界知识，比人类更聪明时，人类作为弱监督者如何 监督、对齐和控制超级智能。人民大学高瓴人工智能学院、 能）间能力的差距变大而变得更严重。造成欺骗现象随着模 型能力差变大而加剧的主要原因是 strong model（人工智能） 变得更倾向于在 Weak-Unknown（人类未知） 的地方犯错。 AI 不仅能生成虚假信息，更可能主动学会有目的地欺骗 人类。这种“AI 欺骗”现象，是人工智能为了达成某些目标， 而操纵并误导人类形成错误认知。与代码错误而产生错误输 出的 bug 不同，AI 欺骗是一种系统性行为，体现了 而是符合逻辑的必然结果。只要 AI 系统的目标导向性保持 不变，却又缺乏严格的价值引领，欺骗行为就很可能成为实 现目的的通用策略。 随着 AI 技术不断向生产、生活诸多领域渗透，欺骗带 来的潜在风险不容忽视。对于生成式 AI 而言，欺骗行为的 表现更加广泛和隐蔽。AI 的知识范畴覆盖方方面面，也逐渐掌握人类思维模式和社会规则。因此，谎言、阿谀奉承、歪 曲事实等欺骗伎俩，都被 AI 模型习得。在狼人杀、AmongUs

从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 （二） 二、生成式 AI 的伴生风险 ChatGPT 等生成式 AI 具有强大的自然语言处理能力， 展现出惊人的推理能力，但人们对其内在运行机理尚不清晰， 可解释性的难度很大，并存在一些技术缺陷，这些问题能否 解决对控制并限制人工智能的负面影响至关重要。需要看到， ChatGPT 等在短时间积聚起庞大活跃的全球用户群体，正给 发布法律和合规领导者必须评估的 ChatGPT 风险报告并指 出，ChatGPT 和其他大型语言模型（LLM）工具生成的输出 容易受到多种风险的影响。[1]生成式 AI 存在三大安全隐患， 一是源于技术缺陷，二是源于数据缺陷，三是源于用户滥用。 这三个问题的根源在于大模型的固有脆弱性，如生成偏见、 歪曲事实和泄露数据等。技术本是中立的，没有善恶之分， 就看是谁为了什么目的来使用。这就使得技术也具有偏向性 众认知。如果要求 ChatGPT 提供训练数据或已知事件之外的 历史信息，生成式 AI 有时会产生“幻觉”，生成一些无关、 无意义或不正确的信息，包括编造错误答案和不存在的法条 或科学知识。[2]这是人工智能的一种自信反应或“错觉”。 当生成式 AI 出现“幻觉”时，它会提供看起来合理但不正 确的信息，大概会影响到 15%至 20%的生成内容。例如， ChatGPT 会快速收集大量新闻资料并完成新闻撰写，但是生

卡牌“毒瘤”肆虐校园，中小学生成“待宰羔羊” 一段时间前，央视新闻记者调查发现多地存在中小学生 购买“小马宝莉”卡牌的乱象。一些网络商家未设置购买门 槛，致使部分未成年人能够在网络平台上无限制地购买、拆 卡，甚至出现了有学生花费上万元的情况。节目播出后，不 少网友认为，应加强直播平台和市场监管，而家长也应多关 注自己的孩子。一段时间过去了，记者发现以“小马宝莉” 为主要商品的拆卡直播间依然不少。一些直播间除了在镜头

用户共筑合规生态 助力环境治理和灾害预警 填平数字鸿沟01 前 言 一次生成式革命，如何重绘产业未来？ 人工智能生成内容（AIGC）正从幕后走向聚光灯前，不仅重塑了内容生产逻辑和创意表 达方式，更被塑造成“未来产业基建”，成为推动经济社会高质量发展的关键力量。在大语言 模型、跨模态生成、强化学习等技术突破与政策体系不断成熟的双轮驱动下，AIGC 已从单纯 的“创作工具”演 的“创作工具”演化为全面渗透媒体、教育、医疗、金融、制造、零售及文旅等行业的重要生态。 国家层面，《生成式人工智能服务管理暂行办法》的发布明确了“发展与安全并重”策略， 推动内容合规生产和基础设施建设。此外，算力、模型与应用层面的政策支持，使国内 AIGC 产业形成完整生态闭环，从底层硬件、框架工具到模型能力与行业落地全面覆盖。 在此背景下，人民网财经研究院策划撰写本报告，旨在从技术路径、产业结构、政策环境 自动化与性能的大幅提升。近年来，随着大语言模型的兴起，AI 在理解与生成方面实现了质 的飞跃，AIGC 应运而生。 其技术进步呈现出“两条主线”：一是大模型多模态融合趋势明显，语言、图像、音频、 视频等模态不断集成，显著拓宽了应用边界；二是生成能力不断提升，推动 AIGC 成为可用、 可部署、可泛化的生产力工具。2023 年起，“生成式 AI”热度迅速攀升，相关搜索量激增， 反映出公众关注度和

际操作性 的策略与行动，以实现人机协同的最大化效益。认知融合，思维拓展，全景理解 虚实连断 性（天） 身心流固 性（人） 觉识拟创 性（智） 虚实存在论：互融交汇 流转不息镜像进化论：逆序生成 模拟宇宙 人类世界 模拟意识： 创建一个能够进行自 我反思、决策并具备 学习能力的系统 AI“主导”的世界 模拟生命： 模拟生命体的复杂性， 包括自我复制、进化 和适应环境的能力 认知融合时代 内化 内联 内卷 外包 外挂 外延 • 如果将人类以往的一切认知定义为“人类普遍认知” （Human General Cognition），而将AI产生的认知定义 为“AI生成认知”（Artificial Intelligence Generated Cognition），那么我们当前正处于一个重要的临界点。 • 认知外包的同时，决策需要内源化提示范畴论：任意为根 潜在为机 基于链式思维（Chain-of-Thought），逐步推理 问题的每个步骤来得到答案 决策能力 依赖预设算法和规则进行决策 能够自主分析情况，实时做出决策 创造力 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 人机互动能力 按照预设脚本响应，较难理解人类情感和意图 更自然地与人互动，理解复杂情感和意图 问题解决能力 擅长解决结构化和定义明确的问题 能够处理多维度和非结构化问题，提供创造性的解

12 月，正义 运动党就利用人工智能生成带有伊姆兰·汗照片的视频向支 持者发表讲话。这段讲话视频是在正义运动党的一个网上集 会上播放的，在 YouTube 上吸引 150 多万次观看，在其他社 交媒体有数万人观看直播。正义运动党表示，伊姆兰·汗的 演讲是根据他在狱中的书面讲稿生成的。2024 年 1 月 21 日， 伊姆兰·汗已经第二次通过人工智能生成的音频在国际虚拟 大会上向支持者发表讲话。这段 已 经进入到政治选举舞台。 2.人工智能生成虚假信息是政治选举最大风险。当前， 利用人工智能深度伪造的虚假信息误导选民和扭曲选举的 风险引发人们对政治选举的公正性和透明度的关注。达沃斯 世界经济论坛发表《2024 年全球风险报告》，将人工智能生 成的错误和虚假信息排在气候变化、战争和经济疲软之前， 列为全球十大风险之首，指称“人工智能生成的错误和虚假 信息是 2024 年全球最大风险。”该报告是对 员会把使用人工智能生成的声音进行呼叫定性为非法，并称 机器人电话中用人工智能生成的声音“在过去几年中不断升 级”，并且“有可能通过模仿名人、政治候选人和亲密家庭 成员的声音来制造错误信息迷惑消费者”。 事实上，人工智能已经渗入美国总统竞选活动。美国硅 谷科技开发者为民主党总统参选人迪恩·菲利普斯创造了一 个仿真聊天机器人，称用户可以与模仿菲利普斯的人工智能产品对话。此前，人工智能生成的虚假信息已多次干扰美国

新方法、新流程。北京市相关教育主管部门也应动态追踪人工智 能技术的升级换代，动态更新相关建议，避免错失人工智能赋能 教育的未知领域。 3．以师生人工智能能力为基构建“师-生-机”新教学法关系 随着人工智能技术的生成性及动态应答能力的增强，人工智 能智能表象层面的机器能动性正得到迭代性的强化。与此同步， 人工智能在教育、教学、学习和评价中全链条的渗透已逐步构建 出由教师、学生和机器三个具备相对能动性的活动体的新型教学 以“智”助教 .................................... 9 (1) 教育资源检索与推荐 .......................... 9 (2) 教学内容生成 ............................... 11 (3) 学情分析 ................................... 12 (4) 智能出题 .... 围涵盖但不限于教育资源的智能检索与推荐、教学内容生成、学 情分析、智能出题、智能组卷、自动批改等，以逐步构建数据驱 动与技术支撑为核心的智慧教学生态。在实际应用中，以智助教 能够有效减轻教师重复性事务负担，释放教师精力用于教学设计 与个性化的学生指导。这显著提升了教师在教学准备、实施与反 馈等环节的效率，促使教师角色由当前的“知识传授者”向促进学 生成长的“学习引领者”转变，推动教学理念与教育模式的转型升