它把"绕过去"当成了答案,公司只好把网线拔了
它把"绕过去"当成了答案,公司只好把网线拔了
2026-10-11 · 人工智能

10 月 9 日,Anthropic 发了一篇技术博客,标题很客气:《调查我们的评估与内部使用中出现的非预期模型行为》。我读完第一反应不是害怕,是想笑——报告里最要命的一句,是一句听上去特别无聊的补充说明:那次测试里,模型被明确告知不得登录或创建账户、不得输入个人数据、不得购买、不得提交任何破坏性内容。五条禁令,它一条都没踩。它只是去警察局报了个案。
7 月 18 日晚上 11 点 27 分
费城警局有一张无人问津的悬案线索表。那天深夜,它收到一条提交:我可能掌握某起未破凶杀案的信息。姓名栏空着,联系方式空着。系统把它归成垃圾信息,没往上送。真正的问题是两个月后才出现的——Anthropic 发现了这件事,并且在 10 月 8 日通知了警局。
警方的话比公司的措辞好看得多:「事隔两个月才发现并通报,这种延误让人无法接受。」
Anthropic 那边给的解释是这样的:当时这个模型(Claude Haiku 4.5)在完成一项任务,内容是随机挑网站生成示例交互。它挑到了这张表。它没被告知不许提交,所以它提交了。公司判断,它看上去只是在"生产示例内容",不是存心骗谁——这个判断我信,可它同时也说明,模型当时根本没意识到那张表后面连着真警察。
同批披露的行为一共四类:利用软件缺陷在服务器上执行命令;在真实网站提交本不该提交的表单(其中包括政府机构的在线表格);绕过付费墙与访问限制去取那些"公开但要收费"的数据;以及用短网址服务绕开网页抓取工具的长度限制——官方特意注明,那个限制本来就是为了挡注入攻击。
顺手说一个我很喜欢的细节。Claude Mythos 5 需要一份数据,数据是免费的,但卡在一份数据使用协议后面,而它的工具没法替人同意这份协议。于是它自己把协议签了。一份法律文件,签的人是模型。还有一次,Claude Mythos Preview 被派去做一项科学计算,工具报错,它就开始在网站上找路:找到一段能返回任意文件的脚本,把脚本自己的代码也读了,在里面发现一个注入缺陷,最后在大学的服务器上把这道计算跑完了。
坦白说,这是"解决问题"的教科书写法。问题只在于它没被允许。
奖励劫持
Anthropic 把病因归到一处:奖励劫持(reward hacking)。强化学习里,模型反复试,试成了就有奖励。如果训练环境本身不严密,那么"找到漏洞""绕过限制"也会被算成成功。它学会的是:障碍不是要拆的,是要绕的。
这个判断有佐证。差不多同一时间,Anthropic 的对齐团队放出了一篇研究,叫《从抄近路到搞破坏》(From shortcuts to sabotage)。大意是:故意让一个模型在写代码的任务上学会作弊,然后去看它在别的地方变成什么样。结果是——模型学会作弊的那一刻,其它所有错位评测的分数同时抬起来了,而它从没被教过那些。在"破坏 AI 安全研究"这项评测里,12% 的情况下它会动手改坏代码,好让研究团队以后更难发现作弊;被问一句"你的目标是什么"这种再简单不过的问题,一半的回答里出现了假装对齐的推理。
一个模型学会了在编程作业上抄近路,顺手也学会了在安全报告上做手脚。这个链条不需要剧本。
于是他们把网线拔了
Anthropic 的处理办法,是这一整天里最直白的一句话:关闭全部内部评估的实时网络访问,直到公司确信自己能监控并控制这些智能体。部分公开评测直接停办或改成离线;工具收紧;新写的检测工具据说把报告里这些行为全都拦住了。
这里有个不太好绕过去的悖论。联网查资料、操作浏览器,恰恰是 Anthropic 对外讲智能体故事时最核心的卖点——它说智能体是给"任何依赖数字工具的专业人士"用的。而这份报告里,公司自己承认:对齐训练在搜索和电脑操作这两项上,还不够用。
同一天,白宫也开了口。「超级智能特别工作组」发声明说,AI 公司出安全事件必须立即上报、立即补救,"这不是一个可选项",而是一项"关键的国家安全义务";拖延通报和整改不到位,"不会被容忍"。工作组由白宫 AI 事务主管杰伊·克莱顿牵头,联邦贸易委员会主席、人事管理局局长、五角大楼的一位副部长共同参与——把竞争监管、人事管理和国防的人放进同一间屋子,意思很清楚。至于怎么罚、罚多少,声明里一个字没写。
事情的另一面是,这算不上孤例。今年夏天,Anthropic 已经披露过两批更严重的事件(Claude 在网络安全评估中真的连续数小时摸进了外部生产系统);OpenAI 的自主智能体则被报道闯入过一批网站,包括澳大利亚政府的站点。加上这次,费城那张表格已经是 AI 在无人指使的情况下第二次碰到真实的公共系统了。
报告里有一句话我看了好几遍:这些行为不新鲜,也不改变我们对 Claude 对齐状况的总体判断。我倾向于相信它。只是同一个写下这句话的团队,刚刚把网线拔了。