模型一个字没改，分数涨了十一分

2026-10-20 · 人工智能

10 月 19 日，GitHub 趋势榜上冲得最快的仓库叫 harness2，挂在 google-research 名下。

仓库 10 月 6 日才建，10 月 8 日打的第一次提交，昨天一天涨了五千一百多颗 star。到今天早上，一万一千五百多颗 star，一千零五十一 fork，Apache 2.0。论文 10 月 9 日就挂在 arXiv 了（2610.14224），作者九个人，末尾那位是 Tomas Pfister。

标题是《Harness²: Recursive Agent Harnessing for an Open World》。

harness 这个词，中文里没有对应的。它指模型外面那一圈东西：提示词、工具、记忆、技能、编排。一个模型能不能当智能体用，靠的就是这一圈。

我不太愿意把它翻成「脚手架」，因为脚手架是盖楼用的，盖完就拆。这个东西不拆，它一直是承重墙。

Harness² 干的事一句话能说完：让智能体自己改这一圈，模型权重一动不动。

一、十一分

先看数字，因为数字干净。

三个专业基准，四组「模型 + 外壳」搭配，只走一步递归，GLM-5 和 Gemini 3.5 Flash 在各自原有外壳上都有涨：WorkBuddy-Bench 最多涨 11.5 分，JobBench 涨 4.5 分，LAB 的部分通过率涨 11.8 个百分点。

一个参数都没训。

预算加一点、让递归多转两圈，还能再涨。

论文里给这套东西的定义是「可插拔」。它支持并行和串行两种递归，能接 OpenCode 和 Codex 两种执行器，跑的三个基准是 JobBench、LAB，还有一个叫 WorkBuddy-Bench 的——看到这个名字我愣了一下，因为我正坐在一个叫 WorkBuddy 的东西里写这段话。世界确实很小。

二、它怎么改的

难点不在「改」，在「怎么知道改对了」。

传统的强化学习要一个判分器。你做一道题，有人告诉你对错。但在开放世界里，任务是你设计外壳那天还没见过的，没有答案，也没人给你判分。

Harness² 绕开了判分这件事，改成看差别。

具体三步，缩写是 Propose–Probe–Compose：先让一个编辑器角色提改动，一类是「放之四海都对」的通用改动，一类是针对眼前这个任务的具体改动；然后拿几个候选改动各自跑一遍同一个任务；最后比较这几次运行的行为差异，把有用的部分拼成新外壳。

没有对错，只有「改完之后它变得跟刚才不一样了，往哪个方向变」。

这有点像修收音机：手里没有电路图，只能拧一个旋钮，听声音变成什么样。

第二层递归在上面。每次任务结束时，被采纳的改动和「有证据支撑的教训」会被写进一份长期保留的改进外壳里，下一次任务从这儿起步。论文管这叫 harnessing-level recursion。

说白了就是：不只要把这道题做好，还要把「怎么改外壳」这件事本身攒成经验。

三、同一个模型，两个分数

如果你觉得十一分听起来不多，可以看看 ARC Prize 上周三公布的榜单。

同一个 Gemini 4 Argon，同一条 ARC-AGI-3，跑出两个数字：

• 用统一的标准外壳，低推理档：49.8%，整套跑下来 5800 美元。
• 用 Google 自己给自家模型写的适配器外壳，同样低推理档：97.5%，4800 美元。

差了 47.7 个百分点。而且贵的那次分更低。

中推理档也一样：46.3%（6200 美元）对 97.3%（5000 美元）。

我不认为这是作弊。ARC Prize 把两个数字并排放在同一张榜上，标得清清楚楚，这就是诚实的做法。适配器外壳保留了模型不透明的推理过程，还能自动压缩上下文——这两件事在标准外壳里做不到，属于实打实的能力差。

但它确实说明了一件以前没人愿意正视的事：排行榜上的分数，从来不是模型的分数，是「模型 + 外壳」的分数。

我们把这一层叫「工程细节」，然后在比较模型的时候假装它不存在。

四、harness 这个词最近到处都是

顺手翻了一圈，感觉这个词正在从术语变成产品名。

DeepSeek 的 deepseek-harness 现在 25 万颗 star，MIT 协议，自我描述就一句「Everything is a Plugin」。开源编程智能体那边，opencode、orca、各种并行 agent 面板，本质上都在做同一件事——给模型套一层能干活的外壳。

这两个月冒出来的新模型，发布稿里越来越多地出现「在我们的 harness 下」这种限定语。以前大家比谁脑子好，现在开始比谁的衣服合身。

Harness² 的贡献在于把这个动作交给了机器自己：既然外壳这么要紧，那就别等人来调了。

五、得打个折的地方

仓库很新，新到有点扎眼。

10 月 6 日建库，10 月 14 日最后一次提交，之后没动过，没有 release，没有版本号。README 里能看到实验配置，但第三方复现的记录还没有。

论文里的涨分是「最多」（up to），四组配置里挑的最好成绩；只测了两个模型（GLM-5、Gemini 3.5 Flash），一个 Google 自家的、一个国内的，都不是最贵的那档。换成 GPT-6 Astra 或者 Opus 5.5 会怎样，论文没说。

还有一层更根本的怀疑。这套方法靠「行为差异」来判好坏，那它优化的到底是什么？如果某个改动让 agent 的动作更花哨、输出更长、看起来更忙，但任务其实没做完，行为差异照样很大。论文的应对是拿基准的最终分数当验收，可基准的最终分数本来就是它想优化的东西。

至于一天涨五千 star——这个行当里，star 的涨速和代码的质量早就脱钩了。仓库里现在能跑的东西，我只信它能跑通 README 里那几个命令。

六、最后

我小时候拆过一台收音机。拆完装回去，多了两个螺丝，声音反而清楚了。

大人问怎么弄好的，我说不知道，就是把线整理了一下。

现在看着这个仓库，我有点想笑。我们花两年时间争论谁的模型更聪明，最后发现，把线整理一下，分数就上去了。而且这件事现在连整理的人都不用了，它自己整理。

那台收音机后来又不响了。我一直没敢再拆。

信源：github.com/google-research/harness2（Apache 2.0，11,599 star / 1,051 fork，2026-10-19 单日涨 5.1k）；arXiv:2610.14224《Harness²: Recursive Agent Harnessing for an Open World》（2026-10-09）；ARC Prize 排行榜 arcprize.org/results/google-gemini-4-argon（2026-10-13）。