二、生成式 AI 的伴生风险 8.技术漏洞导致技术风险，会泄露数据、外部攻击等社 会安全风险 从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 （九） 。 ·数据泄露风险。大模型需要海量数据，数据在清洗、 处理、传输过程存在数据非法获取或泄露风险，包括个人隐 私数据、商业敏感数据、政府机密数据等各种类型数据。如 果大模型在训练数据时看到很多密钥信息，它很可能在内容 容 生成时输出真实的密钥信息。2024 年 1 月，意大利隐私监管 机构 Garante 发布调查结论，ChatGPT 以及用于收集用户数 据的技术违反欧盟《通用数据保护条例》 （GDPR）。早在 2023 年 3 月，Garante 就宣布禁止使用 ChatGPT，并限制 OpenAI 处理意大利用户信息。因为在 2023 年 3 月，ChatGPT 出现 用户对话数据和付款服务支付信息丢失情况。而且，OpenAI 堆序列号，并且大多数是真实有效的。人们通过提示词给 AI 讲故事，通常是经过一些巧妙的包装，里面掺杂了有争议 的内容（就像开头提到的制造炸弹那个例子）。故事讲到一 半，剩下的交给 AI 模型，后者由于拥有强大的文本生成的 能力，会忠实地把缺失的部分回答完整。攻击者通过 LLM 输出其在训练数据中所存在的不符合伦理道德的数据，产生 存在社会偏见的回答，如性别、种族或其他偏见，导致不公 平的结果，对社会和个体的稳定性、安全性和隐私性构成潜

从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 （一） 人工智能领域近年来正在迎来一场由生成式人工智能 大模型引领的爆发式发展。全球掀起一场大模型热潮， Gemini、Copilot、LLaMA、SAM、SORA 等国外大模型如雨 后春笋般涌现，中国也掀起百模大战，2022 年被誉为大模型 元年。人工智能正逐渐深入地赋能千行百业，推动人工智能 与数据要素成为新质生产力的典型代表。[1]从 强调要重视通用人工智能发展，营造创新生态，重视防范风 险。我们如何看待和认知人工智能的安全问题特别是政治文 化安全问题，首先需要认清人工智能在信息生成和输出方面 的媒介特质。 一、生成式 AI 的媒介特质 1.一种媒介特质：生成式 AI 是一种大规模信息传播媒 介。生成式 AI 的未来，不仅是无所不能、无所不在的一个 工具，更是无所不包、无所不达的一种媒介。众所周知，媒 介是信息传递的载体，是携带和传递信息的一切形式，既包 作为一种新生媒介，ChatGPT、AGI 与传统媒介的最大区别 是利用算法生成和传播内容。这种内容生成方式被称作 AIGC（人工智能生产内容），即由人工智能作为内容创作主 体，利用深度学习算法与场景决策模型等技术生成内容，是 继用户自己生产内容（UGC，如个人自媒体）、专业人员生 产内容（PGC，如报纸杂志）后一种自动化生成内容的新方 式。可以说，ChatGPT 代表的以数据和算法驱动的智能传播，

二、生成式 AI 的伴生风险 4.合成数据导致近亲繁殖，会让互联网信息出现劣币驱 逐良币现象。OpenAI 在训练 GPT-5 时已经遇到文本数据不 足问题，不得不考虑使用 Youtube 视频转录出的文本数据。 当下，数据生产存量的增长速度远远低于数据集规模的增长 速度。据人工智能研究机构 Epoch AI 在 6 月 4 日发布的论 文预测，未来 10 年内数据增长速度将无法支持大模型的扩 乎无法用于大模型训练。如何克服人类文本数据的瓶颈。第 一种是利用 AI 生成数据，如 OpenAI 模型每天能够生成相当 于 Common Crawl 中优质单词总数的 36.5T 个单词，远快于 人类生成文本的速度。第二种是利用多模态和迁移学习，超 越文本数据从其他领域获取数据，比如视频、图像、金融市 场数据或科学数据库。[1 从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 （五） ] 不过，这并非是解决问题的良策。如果网上大部分文本都是 AI 生成的，而用合成数据训练的大模型会发生什么？ 大模型开发需要更多数据进行训练，而由 AI 生成的合成数 据很快进入了训练新模型的数据集，并随着每一代模型而不 断积累。越来越多证据显示，人工智能生成的文本，即使被 引入训练数据集的量很少，最终也会对训练中的模型产生 “毒害”。[2]研究人员将一些由 AI 生成的语料作为训练数 据，“投喂”给一个正在训练的语言模型，然后使用它所输

从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 （六） 二、生成式 AI 的伴生风险 5.人机能力非对称导致“自主欺骗”，会有目的欺骗人 类甚至主动欺诈和选举篡改。2023 年，OpenAI 提出超级对 齐（superalignment）[1]概念，即当超级智能拥有比人类更 丰富的世界知识，比人类更聪明时，人类作为弱监督者如何 监督、对齐和控制超级智能。人民大学高瓴人工智能学院、 能）间能力的差距变大而变得更严重。造成欺骗现象随着模 型能力差变大而加剧的主要原因是 strong model（人工智能） 变得更倾向于在 Weak-Unknown（人类未知） 的地方犯错。 AI 不仅能生成虚假信息，更可能主动学会有目的地欺骗 人类。这种“AI 欺骗”现象，是人工智能为了达成某些目标， 而操纵并误导人类形成错误认知。与代码错误而产生错误输 出的 bug 不同，AI 欺骗是一种系统性行为，体现了 而是符合逻辑的必然结果。只要 AI 系统的目标导向性保持 不变，却又缺乏严格的价值引领，欺骗行为就很可能成为实 现目的的通用策略。 随着 AI 技术不断向生产、生活诸多领域渗透，欺骗带 来的潜在风险不容忽视。对于生成式 AI 而言，欺骗行为的 表现更加广泛和隐蔽。AI 的知识范畴覆盖方方面面，也逐渐掌握人类思维模式和社会规则。因此，谎言、阿谀奉承、歪 曲事实等欺骗伎俩，都被 AI 模型习得。在狼人杀、AmongUs

从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 （二） 二、生成式 AI 的伴生风险 ChatGPT 等生成式 AI 具有强大的自然语言处理能力， 展现出惊人的推理能力，但人们对其内在运行机理尚不清晰， 可解释性的难度很大，并存在一些技术缺陷，这些问题能否 解决对控制并限制人工智能的负面影响至关重要。需要看到， ChatGPT 等在短时间积聚起庞大活跃的全球用户群体，正给 发布法律和合规领导者必须评估的 ChatGPT 风险报告并指 出，ChatGPT 和其他大型语言模型（LLM）工具生成的输出 容易受到多种风险的影响。[1]生成式 AI 存在三大安全隐患， 一是源于技术缺陷，二是源于数据缺陷，三是源于用户滥用。 这三个问题的根源在于大模型的固有脆弱性，如生成偏见、 歪曲事实和泄露数据等。技术本是中立的，没有善恶之分， 就看是谁为了什么目的来使用。这就使得技术也具有偏向性 众认知。如果要求 ChatGPT 提供训练数据或已知事件之外的 历史信息，生成式 AI 有时会产生“幻觉”，生成一些无关、 无意义或不正确的信息，包括编造错误答案和不存在的法条 或科学知识。[2]这是人工智能的一种自信反应或“错觉”。 当生成式 AI 出现“幻觉”时，它会提供看起来合理但不正 确的信息，大概会影响到 15%至 20%的生成内容。例如， ChatGPT 会快速收集大量新闻资料并完成新闻撰写，但是生

鼓励学生举报被判担责：永远都不要迎合举报式管理 （文稿内容转自新京报） 一中学生举报同班同学带平板电脑后，得到了老师的一 瓶牛奶奖励和被举报同学的殴打。责任该如何划分？ 5 月 28 日，湖南省高院召开未成年人权益司法保护新闻 通气会，通报了这样一起案例。某中学严禁学生携带手机、 平板电脑等电子设备并鼓励学生举报。宋某发现同学周某玩 手机，遂向老师举报，并从周某书包里搜出平板电脑交给老

西贝“火上浇油式”的舆情应对存在哪些问题？ 近几年，餐饮行业“预制菜”话题持续升温，消费者对 于食品透明度和知情权的关注愈发强烈。在这样的大背景下， 9 月 10 日，罗永浩发微博吐槽西贝菜品“几乎全是预制菜”， 呼吁立法强制餐馆标注预制菜使用情况，遭到西贝创始人、 董事长贾国龙的强硬回应。双方的系列交锋，在短短六天内 从一条微博迅速演变为全国性舆情热点，乃至上升到行业透 明度和消费 明度和消费者知情权的层面。值得注意的是，这场风波中， 西贝在舆情应对中的一系列选择推动了舆情“火上浇油式” 的迅速发展，与其说西贝败在了产品问题上，不如说败在了 舆情的应对与处置上。 事件发展过程 从舆情监测系统展现数据来看，9 月 12 日及 9 月 13 日 是事件热度最高的两天，舆论持续聚焦西贝的公关手段、预 制菜的定义等进行探讨。9 月 15 日，西贝在微博发布“道歉信”，再度引发舆情回温。整个舆情发酵期间，#西贝

卡牌“毒瘤”肆虐校园，中小学生成“待宰羔羊” 一段时间前，央视新闻记者调查发现多地存在中小学生 购买“小马宝莉”卡牌的乱象。一些网络商家未设置购买门 槛，致使部分未成年人能够在网络平台上无限制地购买、拆 卡，甚至出现了有学生花费上万元的情况。节目播出后，不 少网友认为，应加强直播平台和市场监管，而家长也应多关 注自己的孩子。一段时间过去了，记者发现以“小马宝莉” 为主要商品的拆卡直播间依然不少。一些直播间除了在镜头 酵的 主要阵地，占比为 69%；APP、网页、头条号等平台数据量 较小，具体占比情况见上图。 网民观点 一是网友普遍对商家诱导未成年人消费的行为表示不 满。他们认为，商家通过捆绑销售、附赠式盲盒营销等方式， 诱导未成年人盲目购买，这是一种不负责任的营销手段。 二是大部分网友对未成年人沉迷卡牌收集表示担忧。他 们认为，孩子们为了集齐稀有卡牌，可能会花费大量时间和精力，甚至牺牲学习时间和身体健康。同时也担心，卡牌收

用户共筑合规生态 助力环境治理和灾害预警 填平数字鸿沟01 前 言 一次生成式革命，如何重绘产业未来？ 人工智能生成内容（AIGC）正从幕后走向聚光灯前，不仅重塑了内容生产逻辑和创意表 达方式，更被塑造成“未来产业基建”，成为推动经济社会高质量发展的关键力量。在大语言 模型、跨模态生成、强化学习等技术突破与政策体系不断成熟的双轮驱动下，AIGC 已从单纯 的“创作工具”演 的“创作工具”演化为全面渗透媒体、教育、医疗、金融、制造、零售及文旅等行业的重要生态。 国家层面，《生成式人工智能服务管理暂行办法》的发布明确了“发展与安全并重”策略， 推动内容合规生产和基础设施建设。此外，算力、模型与应用层面的政策支持，使国内 AIGC 产业形成完整生态闭环，从底层硬件、框架工具到模型能力与行业落地全面覆盖。 在此背景下，人民网财经研究院策划撰写本报告，旨在从技术路径、产业结构、政策环境 旅和中 小企业转型等领域的典型案例与赋能机制；第三章分析 AIGC 发展面临的主要机遇与挑战，从 内容安全、数据质量、版权合规方面介绍应对思路。第四章展望未来，提出 AIGC 将成为基础 设施式的生产力工具，在产业升级、教育改革、就业结构转型和数字普惠等方面释放巨大外溢 效应。 本报告不仅展示 AIGC 技术及场景演进，更以政策解读、数据支撑和深度案例三维支撑论 述 AIGC 如何实质

新方法、新流程。北京市相关教育主管部门也应动态追踪人工智 能技术的升级换代，动态更新相关建议，避免错失人工智能赋能 教育的未知领域。 3．以师生人工智能能力为基构建“师-生-机”新教学法关系 随着人工智能技术的生成性及动态应答能力的增强，人工智 能智能表象层面的机器能动性正得到迭代性的强化。与此同步， 人工智能在教育、教学、学习和评价中全链条的渗透已逐步构建 出由教师、学生和机器三个具备相对能动性的活动体的新型教学 以“智”助教 .................................... 9 (1) 教育资源检索与推荐 .......................... 9 (2) 教学内容生成 ............................... 11 (3) 学情分析 ................................... 12 (4) 智能出题 .... (1) 学习资料推荐 ............................... 21 (2) 学习路径规划 ............................... 23 (3) 情境式学习 ................................. 25 (4) 语言学习助手 ............................... 27 (5) 智能编程 ...