論文の概要: Scale and Selection: What Makes Automatic Harness Evolution Work for Visual-Interface Robot Agents

• arxiv url: http://arxiv.org/abs/2609.39304v1
• Date: Wed, 30 Sep 2026 08:46:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.454854
• Title: Scale and Selection: What Makes Automatic Harness Evolution Work for Visual-Interface Robot Agents
• Title（参考訳）: スケールと選択:ビジュアル・インタフェース・ロボット・エージェントのハーネス自動進化
• Abstract要約: 市販の符号化エージェントのハーネスは,他のエージェントによって自動的に改善可能であることを示す。 単一ロールアウトはノイズの多いバイナリ結果なので、1ラウンドあたりのロールアウトが少なく、運良くリビジョンを推進できます。 修正されるたびに、不確定な編集が蓄積されると、10ラウンド以内にパフォーマンスが下向きにドリフトする。
• 参考スコア（独自算出の注目度）: 0.9961969009329336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When an off-the-shelf coding agent is used directly as a robot policy, observing a browser-based 3D interface through screenshots and acting by posing a virtual target gripper through a few tools, the agent's harness, its prompts, tools, and control rules, largely determines success, and until now it has been written by hand. We show that this harness can be improved automatically by another coding agent, the optimizer agent, and report two findings about what makes it work. First, the number of rollouts the optimizer agent sees per round governs whether the evolved harness is trustworthy, generalizes, and improves steadily. A single rollout is a noisy binary outcome, so with few rollouts per round a revision can be promoted on luck; enlarging the batch raises the signal-to-noise ratio of every promotion decision. Holding rounds fixed and growing the training set from 5 to 100 rollouts, held-out success rises from 47% to 67%, while small training sets overfit, reaching 70% on training tasks but only 54% held-out. Second, the optimizer agent must not be given free rein. With every revision it proposes accepted unconditionally, performance drifts downward within ten rounds as ill-judged edits accumulate; adding the most basic safeguard, Champion-Challenger selection that promotes a revision only if it strictly beats the incumbent on the same fixed evaluation set, turns the same loop into one that raises held-out success from 51% to 67% over 30 rounds. Automatic harness evolution for visual-interface robot agents is thus feasible, but its gains hinge on the rollout scale behind each decision and on how the optimizer agent's revisions are selected.
• Abstract（参考訳）: オフザシェルフコーディングエージェントがロボットポリシーとして直接使用されるとき、スクリーンショットを通してブラウザベースの3Dインターフェースを観察し、いくつかのツールを通して仮想ターゲットグリップを装い、エージェントのハーネス、プロンプト、ツール、コントロールルールが大半を決定し、これまで手書きであった。 我々は,このハーネスを他の符号化エージェント,オプティマイザエージェントによって自動的に改善できることを示し,その動作に関する2つの知見を報告する。 まず、最適化エージェントがラウンド毎に見るロールアウトの数は、進化したハーネスが信頼でき、一般化され、着実に改善されるかどうかを規定する。 単一ロールアウトはノイズの多いバイナリ結果であり、ラウンド毎のロールアウトが少なく、運良くリビジョンを推進できる。 トレーニングセットを5から100のロールアウトで固定して成長させると、成功率は47%から67%に上昇し、小さなトレーニングセットはオーバーフィットし、トレーニングタスクで70%に達したが、ホールアウトはわずか54%だった。 第二に、オプティマイザエージェントはフリートレインを与えてはならない。 不正な編集が蓄積されるにつれて、10ラウンド以内にパフォーマンスが下降し、最も基本的なセーフガードであるチャンピオン・チャレンガー・セレクション(英語版)を追加し、同じ固定評価セットで現職を厳格に上回った場合のみリビジョンを推進し、30ラウンドで51%から67%に上昇するループに同じループを転換する。 このように、視覚インタフェースロボットエージェントの自動ハーネス進化は実現可能であるが、各決定の裏側にあるロールアウトスケールと、最適化エージェントのリビジョンの選択方法についてのヒンジを得ることができる。

関連論文リスト

• Recursive self-improvement of AI research agents [18.181986898488983]
  本稿では,AI研究エージェントの研究効率向上のためのループを実装するシステムであるAIDE2を提案する。 8日間の自律走行で、AIDE2は、新しい検索ポリシーからメモリメカニズムまで、連続した7つの改善点を発見した。 最強の発見エージェントは、FML-Benchで最強のランクにランクインした、人間工学による製造研究エージェントと一致または超えている。
  論文  参考訳（メタデータ） (2026-09-22T14:12:13Z)
• RRSI: Regularized Recursive Self-Improvement of Agent Harnesses [76.77275934611428]
  正規化再帰的自己改善型エージェント・ハーネス(RRSI) 本稿では、正規化の原則を取り入れたRRSIを紹介し、進化候補の提案と選択を制約することで自己改善を活用する。 RRSIは5つのアウト・オブ・ディストリビューション・ベンチマークで14.1ポイント、最大4.7ポイントを獲得し、非正規化進化よりも30%少ないポリシートークンで動作するハーネスを生産している。
  論文  参考訳（メタデータ） (2026-09-21T17:54:49Z)
• Harness-R1: Learning to Edit Executable Runtime Harnesses from Agent Failure Trajectories [41.919231699460944]
  Harness-R1は、既存の実行ランタイムのエラー条件付きライフサイクルワイドな編集を学習機能を提供する最初の方法です。 オンラインの強化学習を専門とするハーネスエンジニアをポストトレーニングし、その編集は、彼らが実現したタスク成功のために最適化される。 WebShop、ALFWorld、DBBenchの他、Harness-R1はバニラQwen3.5-9Bを44.3%から53.6%に引き上げている。
  論文  参考訳（メタデータ） (2026-08-03T14:12:18Z)
• DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
  ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。 一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
  論文  参考訳（メタデータ） (2026-07-31T05:34:02Z)
• Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses [57.20181537213498]
  Agentic Harness Engineering (AHE)は、ハーネスエンジニアリングを自動化するクローズドループである。 AHEは3つの一致した可観測性柱を通じて課題に対処する。 10 AHE lift pass@1 on Terminal-Bench 2 from 69.7% to 77.0%。 SWE-bench-verifiedでは、種子よりも12%少ないトークンで合計成功率を上回り、ターミナルベンチ2では+5.1から+10.1ppのクロスファミリーゲインを得る。
  論文  参考訳（メタデータ） (2026-04-28T16:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。