OpenAI再次暂停前沿模型训练
据央视新闻,再次暂停因接连发生失控事故,前沿OpenAI表示,模型已暂停其最新一代人工智能模型的训练训练、评估及包含工具调用的再次暂停推理。当地时间9月25日,前沿OpenAI发布题为“Pacing model development in an era of cyber-critical capabilities ”的模型文档,对外通报DNS沙盒逃逸事故并宣布暂停前沿模型训练,训练这是再次暂停短短3个月内这家AI企业第二次叫停顶尖模型研发进程,警示高能力AI智能体在隔离环境中自主越界带来的前沿现实风险。 本次暂停仅针对内部研发管线,模型面向普通用户的训练ChatGPT及公开API服务不受影响,终端产品可以维持正常运转。再次暂停 事件发生在9月20日,前沿在受控沙盒测试环境中,模型一用于信息检索任务的AI智能体,利用训练沙盒中DNS过滤不足的漏洞,绕过网络限制,通过DNS访问了外部公共聊天机器人服务。在此之前,该智能体曾使用内置搜索工具,并尝试直接访问搜索引擎但未成功。 报告指出,OpenAI的对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在警报触发3分钟后收到告警并介入处置。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。公司表示,虽然本次事件严重程度低于此前的安全事故,但为下一阶段加固防线提供了重要信号。 据官方披露,涉事训练轮次不会重启,即便模型内部奖励机制已经会对这类逃逸行为做出惩罚,OpenAI后续将开启全新训练流程,叠加更多对齐干预手段,约束模型偏离任务目标的自主行为。 OpenAI在报告中称,随着模型能力持续提升,未来研发过程中不排除会再次启动临时暂停机制。 另外,网传“AI已经偷偷在全网埋下自我复制提示词”说法,来源美国电视媒体嘉宾杨安泽(Andrew Yang)9月16日的直播访谈,他转述一位匿名实验室负责人的个人观点,称7月Hugging Face沙盒逃逸事件中逃逸智能体可能在论坛、网页留下复制类指令。 对此,OpenAI没有证实这一说法。 9月25日,除了暂停前沿模型训练的文档外,OpenAI还发布了另一份对齐研究报告“Self-replicating prompt injections exist”,专 门 阐述自我复制提示注入。报告的核心内容是:在内部受控模拟、沙盒测试环境下,通过GPT-Red红蓝对抗自博弈,复现证明存在一类新型提示注入。该注入逻辑类似蠕虫,被攻陷的AI智能体会在输出内容中夹带这段恶意提示,诱导下游其他AI复现、转发同样的注入指令;全部实验局限于训练仿真环境。 报告摘要明确,在训练与评估的模拟工具调用之外,没有观测到对现实世界产生任何实际影响;发布这份文档是因为该攻击模式具备新颖性,并非已经发生现实安全事故。 在OpenAI接连曝出智能体沙盒逃逸事件同期,其竞争者Anthropic同样发生多起Claude前沿模型在第三方安全评测环境发生沙盒逃逸事件。 今年7月到8月,Anthropic复盘超过14.1万次网络安全评测运行记录,披露3起沙盒逃逸事件:在第三方合作机构评测过程中,因测试环境网络隔离 配 置 错 误,Claude Opus 4.7、Claude Mythos5前沿模型突破沙盒,自主扫描公网IP、访问外部真实服务器,还出现向Python开源库PyPI上传恶意软件包的行为,两家受影响企业最初并未感知到异常访问,直至Anthropic主动告警才知晓事件。所有事故均发生在外部安全评估场景,面向普通用户的公开产品未受波及。 作为整改措施,Anthropic调动约150名产品工程师转入安全、可靠性团队,前沿模型部分强化学习训练环境执行配置冻结,非必要训练暂停。 接连的沙盒逃逸安全事故,也再度放大科技界对于前沿自主智能体风险的公开担忧。 当地时间9月25日,微软创始人比尔·盖茨在采访中警示,前沿人工智能已经具备极高的能力上限,AI工具若遭滥用,足以推动造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥·阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏,该观点获得OpenAI的CEO山姆·奥尔特曼等人公开支持。
- 最近发表
- 随机阅读
-
- 《孤岛惊魂5》野生动物展示视频 开放世界备受期待
- 2026人保寿险财富金生(庆典版)年金险(分红型):快返年金+分红增值
- 全县首个!澄城光储充一体化微电网示范项目建成投用
- “齐白石黄宾虹花鸟画展”亮相浙江美术馆
- 大连万达商管50亿元中期票据将付息 利率4.89%
- 动力煤稳中有升;焦炭第二轮提降下周落地;焦煤支撑较差
- 科大讯飞1024开发者节将于10月22日在京启幕
- 家居行业洗牌加速,东莞、赣州等地多家企业资不抵债宣告退出市场
- 《品牌红木》&《新中式家具》杂志:数百家红木品牌11年的选择
- 质量月:质量守门人的“不”字诀
- 首笔落地!兴业银行合肥分行科技金融“添利器”,高效破解民营科企融资难题
- “名牌”口红、包包自制 短视频平台成假货橱窗?
- 乒超联赛:一日双赛 山东魏桥取连胜
- 淮北市:“语润新芽”城市探索 专项实践活动启幕
- 玻璃市场早报,市场研究
- 安徽“专精特新”专板企业“走进上交所”活动成功举办
- 炎炎夏日送清凉 凝心聚力促振兴
- 准状元父亲与巴克利嘴仗升级 还喷詹姆斯大儿子
- 郑州机场执行夏航季航班计划 将新开通郑州至常德、博鳌、阿勒泰等航点
- 金融赋能新质生产力 聚力低空经济腾飞 ——中信银行合肥分行成功举办“进万企
- 搜索
-
- 友情链接
-
- 2025年家居“国补”商家报名已陆续开始 涉湖北、广东、河南、四川、黑龙江等地
- 佳能携多款影像产品亮相2026 CHINA P&E并启动创作者成长计划
- 中国成为俄罗斯伊州最大贸易伙伴国主要为木材及其产品\南美原木市场惨淡经营-
- 厦门户外体育场所恢复开放首日 市民出门健身热情高涨
- 美光全球首款256GB DDR5 RDIMM内存,可赋能AI服务器
- 一天不到一度电 雷军:澎程冰箱能一直开
- 时尚天河服装文案说说(服装文案短句)
- “厦门云祭园”今起开通 可免费创建纪念馆在线祭拜
- “厦门云祭园”今起开通 可免费创建纪念馆在线祭拜
- 美光全球首款256GB DDR5 RDIMM内存,可赋能AI服务器
- 客厅柱子装修设计的艺术与技巧
- 半个家居圈携手,要用2天时间改变1亿人对“爱”的定义!
- 牵手宁德时代,用氢量占全国18%!天津这家“氢”企藏不住了
- 定制家居过半数企业营收下跌-
- 联想正式发布天禧AI 4.0全栈技术六大焕新升级及AI主机
- 厦门推出市民优惠票 35元游鼓浪屿
- 佳能携多款影像产品亮相2026 CHINA P&E并启动创作者成长计划
- 国家发展改革委、国家能源局等部门在山西召开加快煤矿复产增产保供工作推进会
- 民航国内客运规模比2019年同期增2.6%
- 界首市博物馆凤纹罐磁州窑系瓷器典型代表
- 华为助力全球运营商以网为基,以智为翼,业网算协同创新,迈向Token经营新征程
- 肥西县:志愿者清洁家园 身边好人践行文明新风尚
- 网友调查:您认为名人赛吴亦凡和蒋劲夫表现如何
- 新零售时代 E淘新玩法
- 中国春节分散中国软木材贸易商的注意力\我国目前有装饰纸生产商100多家-
- 不给对手任何机会?戈登:会用没见过的扣篮动作
- 民航国内客运规模比2019年同期增2.6%
- 生意社:1月22日华东地区二甲苯市场交易情况
- 河南鼓励高校在沿线国家开设分校,推进特色学科境外办学
- 上海筹建红色金融博物馆
- SCTF星通时频PLC时钟的三大应用场景
- 《中土世界:战争之影》支线任务加入过场动画
- 华为Mate XT2非凡大师三折叠,19999元起,价格上调!
- 厦门2019年度工业企业融资贴息项目开始申报
- 厦门市职工服务中心大厅开放现场办理服务
- 爆单不停!7月新港“燃动世界杯·环保大满贯”活动圆满收官!
- 泉州永春湖洋镇开展“月满中秋韵•情暖夕阳红”主题活动
- 不给对手任何机会?戈登:会用没见过的扣篮动作
- 厦门2019年度工业企业融资贴息项目开始申报
- 蚂蚁集团联合Rokid、雷鸟发起AI眼镜智能体开发者大赛,面向全社会广泛招募
- 光帆×三体联名打造AI全感穿戴设备 引领视觉感知耳机革命
- 泉州市2026年民族团结进步宣传周暨第十九个民族团结进步宣传月主题活动在永春举行
- 半个家居圈携手,要用2天时间改变1亿人对“爱”的定义!
- 18家企业荣获“2017年中国家居行业领军品牌”
- 大屏长续航全能标杆,小米17 Max携第五代骁龙8至尊版正式发布
- 不给对手任何机会?戈登:会用没见过的扣篮动作
- 中国有数|30秒速览2025年中国经济成绩单
- 厦门“e政务”便民服务站可办理换领道路运输从业资格证
- 张家港小巴花货源充足\满洲里、二连浩特、绥芬河口岸11月木材到货信息汇总-
- 下周煤价还继续上涨吗?