論文の概要: VERSE: Verified Self-Evolving Optimizer for Agent Harnesses
- arxiv url: http://arxiv.org/abs/2610.02616v1
- Date: Fri, 02 Oct 2026 00:16:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.134257
- Title: VERSE: Verified Self-Evolving Optimizer for Agent Harnesses
- Title（参考訳）: VERSE:エージェント・ハーネスのための検証自己進化最適化
- Abstract要約: エージェントが、障害の診断方法を改善し、編集を開発し、その効果をテストすることによって、他のエージェントをより効果的に改善できるかどうかを検討する。
制御された研究では、自己進化は実行ベースの検証なしでパフォーマンスを改善することができない。
これらの知見に触発され,エージェントハーネスの検証自己進化であるVERSEを導入した。
- 参考スコア（独自算出の注目度）: 27.114517231289202
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Harness evolution improves an LLM agent's prompts, tools, and workflow, while the optimizer's own tools and procedures often remain fixed. We study whether an optimizer can improve another agent more effectively by also improving how it diagnoses failures, develops edits, and tests their effects. Two observations guide our design. In a controlled study, optimizer self-evolution fails to improve performance without execution-based verification, but achieves the best result of that study when verification is available. Across five executors, self-evolving optimizers build their own tools for failure analysis, verification, training audits, and workflow control. Motivated by these findings, we introduce VERSE, a Verified Self-Evolving optimizer for agent harnesses. VERSE lets the optimizer test draft edits, replay failures, and perturb suspected steps before submission, while tracking fixes and regressions across rounds. Using this feedback, the optimizer revises both the executor harness and its own prompts, skills, tools, hooks, and notes, while the weights of the optimizer and executor models stay fixed. Under a shared protocol with disjoint training, validation, and test tasks, VERSE improves all four evaluated harness optimizers on held-out SWE-rebench tasks and newer out-of-distribution tasks in five languages. Its best validation-selected harness reaches 42.3% and 37.7% accuracy, respectively, against 39.2% and 29.3% for the strongest baselines. Code is available at https://github.com/wzekai/VERSE.
- Abstract（参考訳）: ハーネスの進化はLLMエージェントのプロンプト、ツール、ワークフローを改善するが、オプティマイザ自身のツールやプロシージャは固定されていることが多い。
また,障害の診断方法,編集方法の整備,その効果の検証などにより,最適化者が他のエージェントをより効果的に改善できるかどうかを検討した。
2つの観察が私たちのデザインを導く。
制御された研究では、オプティマイザの自己進化は実行ベースの検証なしでは性能改善に失敗するが、検証可能であればその研究の最良の結果が得られる。
5つのエグゼキュータのうち、自己進化型オプティマイザは、障害分析、検証、トレーニング監査、ワークフロー制御のための独自のツールを構築する。
これらの知見に触発され,エージェントハーネスの検証自己進化最適化であるVERSEを導入した。
VERSEは、オプティマイザのテストドラフトを編集し、失敗をリプレイし、提出前に疑わしいステップを実行し、ラウンド全体の修正とレグレッションを追跡する。
このフィードバックを使用することで、オプティマイザはエグゼクタハーネスと独自のプロンプト、スキル、ツール、フック、ノートの両方を修正し、オプティマイザとエグゼクタモデルの重みは固定される。
分散トレーニング、バリデーション、テストタスクを備えた共有プロトコルの下で、VERSEは、5つの言語でのSWE-rebenchタスクとより新しいアウト・オブ・ディストリビューションタスクに対して、評価済みの4つのオプティマイザをすべて改善する。
最高のバリデーション選択ハーネスは、それぞれ42.3%、37.7%の精度で、最強のベースラインは39.2%、29.3%である。
コードはhttps://github.com/wzekai/VERSE.comで入手できる。
関連論文リスト
- ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization [49.998743946324424]
既存のメソッドは、主にハーネスの更新方法を最適化し、どのトレーニングシナリオがこれらの更新を駆動するフィードバックを生成するかを主に修正する。
ハーネスが進化するにつれて、さらなる最適化に最も有用なシナリオが変更され、トレーニングカリキュラム自体がハーネスに合わせて適応することが示唆される。
自動カリキュラム学習問題として、この欠落次元のハーネス最適化を定式化し、ActiveSaddlerを導入する。
論文 参考訳（メタデータ） (2026-10-01T01:36:03Z) - Scale and Selection: What Makes Automatic Harness Evolution Work for Visual-Interface Robot Agents [0.9961969009329336]
市販の符号化エージェントのハーネスは,他のエージェントによって自動的に改善可能であることを示す。
単一ロールアウトはノイズの多いバイナリ結果なので、1ラウンドあたりのロールアウトが少なく、運良くリビジョンを推進できます。
修正されるたびに、不確定な編集が蓄積されると、10ラウンド以内にパフォーマンスが下向きにドリフトする。
論文 参考訳（メタデータ） (2026-09-30T08:46:38Z) - Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification [30.941867057615223]
既存の提案と検証のメソッドは、固定されたタスクセットですべての候補をスコアします。
私たちは、自動化ハーネス進化のための予算対応フレームワークであるHarnessLensを紹介します。
論文 参考訳（メタデータ） (2026-08-27T16:12:23Z) - Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。
$textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
論文 参考訳（メタデータ） (2026-08-20T15:24:54Z) - Rethinking Self-Evolving Agent Skills: Feedback Dynamics over Multiple Rounds [43.5891705224868]
自己進化型スキルシステムは、基礎となるモデルを変更することなく、実行フィードバックを永続的なスキル更新に変換することでエージェントを改善することを約束する。
5つのベンチマークと3つのモデルで制御された評価フレームワークを提案する。
全体として、永続的なスキルの自己進化は、モデル依存リターンとベンチマーク依存リターンを備えたスパース、バリデーションフィルタリング検索として理解されている。
論文 参考訳（メタデータ） (2026-07-31T04:02:51Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。
RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。
1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
論文 参考訳（メタデータ） (2026-06-04T09:26:00Z) - Towards Direct Evaluation of Harness Optimizers via Priority Ranking [18.644878456671886]
ハーネス最適化がエージェントの情報更新アクションによって駆動されるのか、単にトライ・アンド・エラーであるのかは不明だ。
ハーネスを直接評価するのは簡単ではなく、オラクルハーネスが不足しているためコストがかかる。
評価を行うための簡易で低コストな設計、すなわち優先順位付けを提示する。
論文 参考訳（メタデータ） (2026-05-21T13:55:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。