Fugu-MT 論文翻訳(概要): Self-Evolving Harness on Multiple Tasks with the Agent as Its Own Optimizer

論文の概要: Self-Evolving Harness on Multiple Tasks with the Agent as Its Own Optimizer

arxiv url: http://arxiv.org/abs/2609.38372v1
Date: Tue, 29 Sep 2026 18:33:27 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-01 18:57:26.57646
Title: Self-Evolving Harness on Multiple Tasks with the Agent as Its Own Optimizer
Title（参考訳）: エージェントを最適化した複数タスクの自己進化的ハーネス
Abstract要約: ハーネスとは、プロンプトを整理し、ツールを呼び出し、コンテキストを管理し、実行を制御する言語モデルエージェントを取り巻くコードである。既存のほとんどの手法では、人間によって設計されたハーネス上で実行される別のプロポーザがソルバのハーネスを変更し、ベンチマーク毎に別のハーネスが進化する。再帰的自己改善に近いフレームワークを提案する: 同じフリーズモデルであるハーネスの同じバージョンにおいて、まず解法としてタスクを解き、続いて提案者として、完全な実行レコードを読み出し、実行中のハーネスを直接編集する。進化過程を2段階の深層学習訓練として捉えた。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A harness is the code around a language-model agent that organizes prompts, calls tools, manages context, and controls execution. As models grow stronger, recent work has begun to let agents improve their own harnesses, a line of work known as self-evolving harnesses. In most existing methods, a separate proposer running on a human-designed harness modifies the solver's harness, and a separate harness is evolved for each benchmark. Real-world tasks come from many domains, so both the evolution and the evaluation of a harness should cover a diverse range of tasks. We propose a framework close to recursive self-improvement: the same frozen model, on the same version of the harness, first solves tasks as the solver and then, as the proposer, reads the complete run records and directly edits the harness that runs it. Each evolution batch draws tasks from five benchmarks in different domains. To measure generalization, training and held-out tasks are strictly separated, and we additionally evaluate on five out-of-distribution benchmarks never used during evolution. We frame the evolution process as deep-learning training with two stages, multi-task pretraining and continual training. Starting from a 49-line seed harness, the harness obtained at the end of the first stage improves the average score by 4.48 points on the in-distribution benchmarks and by 12.64 points on the out-of-distribution benchmarks, surpassing Codex on the former and matching it on the latter. In the second stage, continued evolution on Claw-Eval, one of the out-of-distribution benchmarks, further raises the score on that benchmark from 66.17 to 68.06, exceeding Codex. We also provide an in-depth analysis of the mechanisms that emerged during evolution, including output truncation, history compaction, and independent review.
Abstract（参考訳）: ハーネスとは、プロンプトを整理し、ツールを呼び出し、コンテキストを管理し、実行を制御する言語モデルエージェントを取り巻くコードである。モデルがより強くなるにつれて、エージェントが自身のハーネスを改善するための最近の研究は、自己進化ハーネスとして知られる一連の作業で始まった。既存のほとんどの手法では、人間によって設計されたハーネス上で実行される別のプロポーザがソルバのハーネスを変更し、ベンチマーク毎に別のハーネスが進化する。現実世界のタスクは多くのドメインから来ているので、ハーネスの進化と評価は多様なタスクをカバーするべきである。再帰的自己改善に近いフレームワークを提案する: 同じフリーズモデルであるハーネスの同じバージョンにおいて、まず解法としてタスクを解き、続いて提案者として、完全な実行レコードを読み出し、実行中のハーネスを直接編集する。各進化バッチは、異なるドメインの5つのベンチマークからタスクを引き出す。一般化, トレーニング, 保留タスクは厳密に分離され, 進化期には使われなかった5つのアウト・オブ・ディストリビューション・ベンチマークで評価する。進化過程を,マルチタスク事前学習と連続トレーニングという2段階の深層学習トレーニングとして捉えた。 49ラインのシードハーネスから始め、第1ステージの最後に得られたハーネスは、分布内ベンチマークの平均スコアを4.48ポイント改善し、分布外ベンチマークで12.64ポイント改善し、前者のCodexを上回り、後者にマッチする。第2段階では、配布外ベンチマークの1つであるClaw-Evalの継続的な進化により、そのベンチマークのスコアはさらに66.17から68.06に上昇し、コーデックスを上回った。また、出力の切り裂き、履歴のコンパクト化、独立レビューなど、進化の過程で発生したメカニズムを詳細に分析する。

論文の概要: Self-Evolving Harness on Multiple Tasks with the Agent as Its Own Optimizer

関連論文リスト