← 返回归档

帖子详情

查看 X 原文
S
meng shao@shao__meng
Google Research 最新开源了 Harness²:递归式智能体 Harness 优化框架 Harness² 解决的两个开放世界难题 1. 测试时遇到的是没见过的任务,没有 ground-truth 验证器。在线改 harness 时你不知道答案对不对,无法用“分数涨了没有”来指导编辑。 2. 递归自我改进(RSI)通常是任务特化的,换个任务就失效,无法泛化积累。 开源地址: github.com/google-researc… # 核心机制:两层递归 第一层:任务级递归,Propose–Probe–Compose(对比式改进环) · Propose(提案):先跑一次当前 harness 的参考执行。注意,这次执行揭示的是“harness 如何表现”,而不是“交付物是否正确”。基于任务、参考轨迹和历史,提出两个候选 harness:一个针对跨领域通用的代理性缺陷(规划、工具使用、上下文管理、委派),一个针对当前领域的知识、流程和约束。每个候选都是可直接执行的文件级编辑。 · Probe(探针):两个候选在同一任务、同等的模型和环境条件下执行,与参考执行对比得到行为对比;编辑是否缓解了目标缺陷、毫无变化、还是造成回归。论文明确说这些对比只“为后续组合提供信息,而非验证任务正确性”。 · Compose(组合):读取参考执行、两个候选、它们的 diff 和全部执行证据,有选择地构建后继 harness:合并被证据支持的修改、修订冲突、采纳其一、或保持原样。每个决策必须绑定一个具体观察,而不是假想的分数增益。 这一步是整个工作的关键创新:在没有标准答案的情况下,用“同任务下的 A/B 行为对比”替代分数反馈来指导编辑,绕开了开放世界没有验证器的死结。 第二层:harnessing 级递归,持续改进的 improvement harness 每个任务结束后,框架对完整的改进记录做反思,把被采纳的 harness 和有证据支持的教训写入一个按领域组织的持久库。要点有三: · 教训只有在执行对比支持时才保留——单次选出了好输出不等于可迁移; · 库里存的是可执行的组件文件而非散文式摘要,配一份 EXPERIENCE.md 记录适用场景和证据; · 下一个任务仍从公共基础 harness 出发(执行 harness 不继承),但 Propose/Probe/Compose 由更新后的库引导;即“改进 harness 本身”也在被改进,这就是标题里 Harness² 的双重含义。 两种扩展模式:parallel(同时探测 k 组候选,k 个独立组合会话)和 sequential(k 步链式精炼,逐步携带累积证据),两种模式从 k=1 到 5 均单调提升。 八个可编辑组件 - 按作用分组 · 上下文构建:系统提示词、护栏、记忆,每次调用都生效 · 工具接口:工具指引、Skills,Skills 按需加载不占成本 · 编排:subagents,唯一会增加推理上下文的组件 · 脚本:新确定性能力,执行而非推理 · 插件:TypeScript 中间件,“在工具环内强制一种行为,而非指令它” 主要结果(k=1 单步,编辑器为 Claude Opus 4.8) WorkBuddy-Bench · Gemini 3.5 Flash:+5.1 (OpenCode) · GLM-5:+11.5 (OpenCode,64.2→75.7) JobBench · Gemini 3.5 Flash:+4.5 (OpenCode) · GLM-5:+3.6 (OpenCode) LAB 部分通过率 · Gemini 3.5 Flash:+4.0 (Codex) · GLM-5:+11.8 (OpenCode,59.6→71.4) 更值得注意的发现: · 越弱的执行模型获益越大,且 GLM-5 换上改进后的 harness 反超了 Gemini 的基础分数,“换 harness”在某些场景下顶得上“换模型”; · 改进后的 harness 跨模型迁移(为 Gemini 精炼的 harness 给 GLM-5 在 Code 子集带来 +17.3),也胜过 Claude Code、Codex 的固定生产 harness 4.6–5.8 分; · 执行器和编辑器用同一个模型也能涨(GLM-5 自编辑在 LAB 上 +13.7),说明不依赖更强的“老师”模型; · 库的消融:去掉 library 在 WorkBuddy-Bench 上损失 3.1 分,验证了 harnessing 级递归的价值;库还能跨基准迁移(JobBench 的库迁移到 WorkBuddy-Bench 仍有 +0.6~+2.9)。 Shubham Saboo @Saboo_Shubham_ Recursive Agent Harness from Google Research. 100% Opensource. 🔗 View Quoted Tweet
媒体保存失败:[Errno 104] Connection reset by peer
媒体保存失败:[Errno 104] Connection reset by peer
媒体保存失败:[Errno 104] Connection reset by peer
查看 Markdown 内容
---
tweet_id: "2111730826308452600"
author: "shao__meng"
published_at: "2026-10-18T08:07:17+00:00"
source_url: "https://x.com/shao__meng/status/2111730826308452600"
---

Google Research 最新开源了 Harness²:递归式智能体 Harness 优化框架  
  
Harness² 解决的两个开放世界难题  
1. 测试时遇到的是没见过的任务,没有 ground-truth 验证器。在线改 harness 时你不知道答案对不对,无法用“分数涨了没有”来指导编辑。  
2. 递归自我改进(RSI)通常是任务特化的,换个任务就失效,无法泛化积累。  
  
开源地址:[github.com/google-researc…](https://github.com/google-research/harness2)  
  
# 核心机制:两层递归  
  
第一层:任务级递归,Propose–Probe–Compose(对比式改进环)  
· Propose(提案):先跑一次当前 harness 的参考执行。注意,这次执行揭示的是“harness 如何表现”,而不是“交付物是否正确”。基于任务、参考轨迹和历史,提出两个候选 harness:一个针对跨领域通用的代理性缺陷(规划、工具使用、上下文管理、委派),一个针对当前领域的知识、流程和约束。每个候选都是可直接执行的文件级编辑。  
· Probe(探针):两个候选在同一任务、同等的模型和环境条件下执行,与参考执行对比得到行为对比;编辑是否缓解了目标缺陷、毫无变化、还是造成回归。论文明确说这些对比只“为后续组合提供信息,而非验证任务正确性”。  
· Compose(组合):读取参考执行、两个候选、它们的 diff 和全部执行证据,有选择地构建后继 harness:合并被证据支持的修改、修订冲突、采纳其一、或保持原样。每个决策必须绑定一个具体观察,而不是假想的分数增益。  
这一步是整个工作的关键创新:在没有标准答案的情况下,用“同任务下的 A/B 行为对比”替代分数反馈来指导编辑,绕开了开放世界没有验证器的死结。  
  
第二层:harnessing 级递归,持续改进的 improvement harness  
每个任务结束后,框架对完整的改进记录做反思,把被采纳的 harness 和有证据支持的教训写入一个按领域组织的持久库。要点有三:  
· 教训只有在执行对比支持时才保留——单次选出了好输出不等于可迁移;  
· 库里存的是可执行的组件文件而非散文式摘要,配一份 EXPERIENCE.md 记录适用场景和证据;  
· 下一个任务仍从公共基础 harness 出发(执行 harness 不继承),但 Propose/Probe/Compose 由更新后的库引导;即“改进 harness 本身”也在被改进,这就是标题里 Harness² 的双重含义。  
  
两种扩展模式:parallel(同时探测 k 组候选,k 个独立组合会话)和 sequential(k 步链式精炼,逐步携带累积证据),两种模式从 k=1 到 5 均单调提升。  
  
八个可编辑组件 - 按作用分组  
· 上下文构建:系统提示词、护栏、记忆,每次调用都生效  
· 工具接口:工具指引、Skills,Skills 按需加载不占成本  
· 编排:subagents,唯一会增加推理上下文的组件  
· 脚本:新确定性能力,执行而非推理  
· 插件:TypeScript 中间件,“在工具环内强制一种行为,而非指令它”  
  
主要结果(k=1 单步,编辑器为 Claude Opus 4.8)  
WorkBuddy-Bench  
· Gemini 3.5 Flash:+5.1 (OpenCode)  
· GLM-5:+11.5 (OpenCode,64.2→75.7)  
JobBench  
· Gemini 3.5 Flash:+4.5 (OpenCode)  
· GLM-5:+3.6 (OpenCode)  
LAB 部分通过率  
· Gemini 3.5 Flash:+4.0 (Codex)  
· GLM-5:+11.8 (OpenCode,59.6→71.4)  
  
更值得注意的发现:  
· 越弱的执行模型获益越大,且 GLM-5 换上改进后的 harness 反超了 Gemini 的基础分数,“换 harness”在某些场景下顶得上“换模型”;  
· 改进后的 harness 跨模型迁移(为 Gemini 精炼的 harness 给 GLM-5 在 Code 子集带来 +17.3),也胜过 Claude Code、Codex 的固定生产 harness 4.6–5.8 分;  
· 执行器和编辑器用同一个模型也能涨(GLM-5 自编辑在 LAB 上 +13.7),说明不依赖更强的“老师”模型;  
· 库的消融:去掉 library 在 WorkBuddy-Bench 上损失 3.1 分,验证了 harnessing 级递归的价值;库还能跨基准迁移(JobBench 的库迁移到 WorkBuddy-Bench 仍有 +0.6~+2.9)。

![Tweet Image](https://pbs.twimg.com/media/HU5f-dmbsAAQn8D.jpg)

![Shubham Saboo](https://pbs.twimg.com/profile_images/2011150989668270080/wQ4NP39W_normal.jpg)

Shubham Saboo@Saboo\_Shubham\_

Recursive Agent Harness from Google Research.   
  
100% Opensource.

![Tweet Image](https://pbs.twimg.com/media/HU47wuJaQAAIraa.jpg)

[🔗 View Quoted Tweet](https://x.com/Saboo_Shubham_/status/2111691139011223640)