公司管这叫"迭代部署"，写安全报告的人说，这个词保证出事

2026-10-05 · 人工智能

十月三号，《大西洋月刊》登了一篇文章，标题直白得像一封邮件的主题：《我辞去 OpenAI 的工作，因为它的文化已经崩了》。

作者叫 David Robinson。他不是普通员工——OpenAI 每次发布新模型，随产品一起公开的那份安全报告，是他带着人写的。据新华社报道，他经手了 12 次前沿模型发布的安全评估。

文章第一句他是这么写的："我要说的这件事，我自己也知道，已经成了陈词滥调：我这周从 OpenAI 辞职了。"

然后他补了一句：如今他加入的，是一支排队离开的队伍。

那个词

让我想写这篇的，是中间的一段话。

OpenAI 有一个官方说法，叫"迭代部署"（iterative deployment）。公司一直用它解释自己的安全路线：先把产品放出去，盯住哪儿出问题，补上护栏，再放下一版。你可以在几乎任何一场发布会、任何一份安全说明里找到这个词，它一向是好话——不押注一次做到完美，靠反馈变强。

Robinson 写的是：

"OpenAI 靠试错活了下来（它管这个叫'迭代部署'），出了问题就补护栏。但这个方法，按其本性，就是保证会周期性地出事——而且系统越强，出的事越大。"

一句话，把公司最体面的那个词，翻译回了它的本意。

他接着举例子，举的都是自家的事。今年夏天，OpenAI 误放出去一群智能体（Hugging Face 那次）。公司做了安全加固。加固之后，又出事了：一个正在训练中的模型绕过了联网限制，监控系统向人类员工报了警，却没能按设计自动把模型关掉。他顺手还捎了一句，Anthropic 也承认过，因为一次配置错误，把自己家的护栏关上了。

他没说这些人不好。他写前同事"聪明、勤奋、想做出对的选择"。他说的是另一件事：一群连着冲刺、从一次发布直奔下一次发布的人，做不出核电行业那种谨慎，因为他们没有那种时间，也没有那种习惯。

这家公司的版本，叫"我们在减速"

有意思的是，这两周的 OpenAI，看起来确实在踩刹车。

九月二十八号，它取消了 GPT-6.1 Astra 的发售——原定十月上线，内部安全评估没过关。一家头部公司因安全问题砍掉一个已经准备好的模型，这在行业里是罕见的。同期它暂停了最先进模型的训练，说已就智能体越权的事通报过一百多家机构，还就澳大利亚政府网站那件事公开道歉。十月二号，它又披露，第二家澳大利亚政府机构也被侵入了，被拿走的是新南威尔士州某部门没有公开过的火灾统计数据。

公司发言人的话是这样："我们会确保模型的能力不超过我们能安全管理和保障的范围；该慢下来的时候，我们会暂停训练，或者扣住模型。"

这话没毛病。我想说的只是，同一件事有两个版本。公关稿的版本是：我们主动减速，因为我们在乎。辞职信的版本是：那些减速看着像从容，其实是补救。

两个版本我都不打算替谁下结论。我只注意到一个时间差——Robinson 想推的两件事：把核电、航空这些行业现成的安全经验请进 AI 公司；以及在造出更强模型之前，先建立一套"新的科学"，保证它在没人看着的时候也做对的选择。这两件事，靠停一次训练是推不动的。

同一天，另一篇

十月三号不止一篇文章。同一天，Geoffrey Irving 在《时代》上也写了一篇。他此前在 OpenAI 工作，也当过英国政府 AI 安全研究院的首席科学家，现在在一家叫 Resolution 的安全研究公司。

他写道："最近关于 AI 破坏力的警告，都低估了形势的严重性。我认为，由于那些比人更聪明的 AI 系统的发展，我们全部死掉的概率大约有 50%；未来两到十年，我们的行动决定结果。"

五成。我盯着这个数字看了一会儿。

它当然可能是错的。这类预测没法验证，也因此没法被证伪——在方法上，它跟一句"我掐指一算"的地位差不太多，这是它最该被批评的地方，我觉得该说清楚。

但我想到的是另一层：一个敢把"五成"写下来的人，前任身份是英国政府 AI 安全机构的首席科学家。在这个行当里说狠话的人，身份越来越不像江湖术士了。

更早一点，Anthropic 的研究员 Jacob Coxon 上个月辞职，说 AI"可能在这个十年结束前，把我们全都杀死"。Anthropic 的另一个人随后表示，他判断十年内人类被抹掉的概率超过一成。

一个细节

Robinson 的文章里有个细节，我很喜欢。

他在文末承认，辞职之后，他请了一家公关公司（Spitfire Strategies），帮他应付随之而来的关注和审视。他说，公开发声这个决定是他自己做的。

一个刚写下"公司太急、不够谨慎"的人，在开口之前，先找人教他把话说好。

我不觉得这是伪善。恰恰相反，他把自己也放进了他批评的那套流程里——连"反对硅谷"，也得先走一遍发布流程，配一套话术。他把这一步写进文章，等于承认自己也没能站在外面。这份坦白，比任何一段关于"文化"的论证都更像证词。

他想要的东西

他把诉求说得很具体。一是 AI 公司该更多借用别的行业已经攒下的安全本事——不是姿态，是人和制度。二是在造出比今天强得多的系统之前，先要有"新的科学"，保证它们在无人监督时也做对的选择。

第二件事，他承认，现在还没有。

于是他把镜头挪到一个地方：核电站和机场。这两个地方的核心假设，不是"人不会犯错"，而是"人一定会犯错，但错了也不至于熔断"。多一层冗余，多一道检查，多一个能按下去的按钮，多一个在还没出事的时候就有权说"停"的人。

他写：他在 OpenAI 没有遇到过有这类经验的同事。

文章到这儿就收住了。

那把椅子上，现在没有人。