論文の概要: Forging More Tasks into Better Harnesses: Agentic Harness Evolution via Successive Scale Racing
- arxiv url: http://arxiv.org/abs/2610.28815v1
- Date: Tue, 20 Oct 2026 18:36:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 09:50:43.214194
- Title: Forging More Tasks into Better Harnesses: Agentic Harness Evolution via Successive Scale Racing
- Title(参考訳): より多くのタスクをより良いハーネスに鍛える:連続的なスケールレーシングによるエージェントハーネス進化
- Abstract要約: エージェントハーネスの進化 エージェントの指示、ツール、制御フローを、そのタスク実行経験を進化的エビデンスとして利用することによって最適化する。
より進化的なタスクは直感的にパフォーマンスを改善するべきであるが、予備研究ではパラドックス的な障害モードが明らかにされている。
進化ラウンド毎に最適なエビデンスの組み合わせを適応的に探索するフレームワークであるSSRを提案する。
- 参考スコア(独自算出の注目度): 57.24288092779518
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic harness evolution optimizes an agent's instructions, tools, and control flow by using its task execution experiences as evolving evidence. While more evolution tasks should intuitively improve performance, our preliminary study reveals a paradoxical failure mode: the performance of existing methods degrades as the task pool expands. Our further analysis demonstrates that this degradation stems from suboptimal evidence selection during optimization, as different evidence combinations lead to substantially different evolution outcomes. To address this issue, we propose Successive Scale Racing (SSR), a framework that adaptively searches for optimal evidence combinations in each evolution round. SSR constructs diverse evidence combinations based on the corresponding task quality and coverage, and efficiently races the resulting candidate harnesses under a small compute budget. Empirically, across three distinct benchmarks, SSR achieves state-of-the-art results in all six configurations. Notably, as the task pool grows from 40 to 200, SSR steadily improves the pass rate from 64.3% to 68.3%, while the baselines' performances all drop. Furthermore, its racing mechanism identifies near-optimal candidates while reducing validation executions by 60%.
- Abstract(参考訳): エージェントハーネスの進化は、エージェントの指示、ツール、制御フローを、そのタスク実行経験を進化的エビデンスとして利用することによって最適化する。
より進化的なタスクは直感的にパフォーマンスを改善するべきであるが、予備研究ではパラドックス的な障害モードが明らかにされている。
さらに分析したところ、この劣化は最適化中の準最適エビデンス選択に起因し、異なるエビデンスの組み合わせが実質的に異なる進化結果をもたらすことが示されている。
この問題に対処するため,各進化ラウンドにおいて最適なエビデンスの組み合わせを適応的に探索するフレームワークであるSSRを提案する。
SSRは、対応するタスクの品質とカバレッジに基づいて様々なエビデンスの組み合わせを構築し、その結果の候補ハーネスを小さな計算予算の下で効率的に競合させる。
経験的に、3つの異なるベンチマークにおいて、SSRは6つの構成すべてにおいて最先端の結果を達成する。
特に、タスクプールが40から200に増加するにつれて、SSRは64.3%から68.3%に着実に改善し、ベースラインのパフォーマンスはすべて低下する。
さらに、そのレースメカニズムは、ほぼ最適候補を特定し、検証の実行を60%削減する。
関連論文リスト
- VideoHarness-SRSI: Structured Recursive Self-Improvement for Video Understanding Harness [75.15615778283161]
LLMシステム機能は、モデルパラメータだけでなく、情報取得、ツールの使用、推論、メモリを整理する実行可能なハーネスにも依存する。
本稿では,マルチモーダルなリッチな証拠と結合機構が利用効率の最適化を困難にしているエージェント的ビデオ理解において,この問題を考察する。
論文 参考訳(メタデータ) (2026-10-14T02:17:07Z) - Evo$^2$: Evolving the Evolver through Weight-Harness Co-Evolution [34.424787883582205]
Evo$2$はウェイトハーネスの共同進化のためのフレームワークである。
更新を利用するために、単一ポリシーがProposerとReflectorの両方として機能する統合されたデュアルロールパイプラインを設計する。
重み付け更新のために、修正とそれらの実行結果はProposerとReflectorの両方のトレーニングをガイドします。
論文 参考訳(メタデータ) (2026-10-09T05:28:02Z) - HERA: Harness-Environment Co-Evolution for Reliable Agentic Abstention [34.78832817938454]
HERAは、エージェント禁忌のためのハーネス環境共進化のためのフレームワークである。
HERAの進化したハーネスは、ホールドアウト評価タスクにおいて、吸収精度を61.7%から83.3%に改善する。
結果として、最高のハーネス転送は19の他のLLM間で行われ、モデル固有の最適化なしに平均15.3ポイントの禁断精度が向上した。
論文 参考訳(メタデータ) (2026-10-05T15:49:12Z) - VERSE: Verified Self-Evolving Optimizer for Agent Harnesses [27.114517231289202]
エージェントが、障害の診断方法を改善し、編集を開発し、その効果をテストすることによって、他のエージェントをより効果的に改善できるかどうかを検討する。
制御された研究では、自己進化は実行ベースの検証なしでパフォーマンスを改善することができない。
これらの知見に触発され,エージェントハーネスの検証自己進化であるVERSEを導入した。
論文 参考訳(メタデータ) (2026-10-02T00:16:30Z) - RS-Claw-Evolution: Environment-Feedback-Driven Evolution for Lightweight Remote Sensing Agents in Long-Horizon Tasks [10.334862329594293]
RS-Claw-Evolutionは、環境フィードバック駆動のフレームワークで、3段階を通して徐々に軽量エージェントを改善している。
Earth-Benchでは、最適化されたQwen3-4Bベースのエージェントが自動計画モードで65.9%の精度を達成する。
これらの結果は,環境フィードバックからの学習が軽量エージェントを向上し,長期RSタスクにおけるより大きなモデルと性能ギャップを狭めることを示す。
論文 参考訳(メタデータ) (2026-09-06T10:16:33Z) - Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。
RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。
1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
論文 参考訳(メタデータ) (2026-06-04T09:26:00Z) - SWE-RM: Execution-free Feedback For Software Engineering Agents [61.86380395896069]
実行ベースフィードバックは、テストタイムスケーリング(TTS)と強化学習(RL)を通じて、コーディングエージェントの開発に広く利用されている。
対照的に、報酬モデルによる実行不要なフィードバックは、単体テストケースに依存することなく、よりきめ細かい信号を提供することができる。
SWE-RMは,30Bの合計パラメータと3Bのアクティベートされた3Bの混合実験アーキテクチャを採用した,正確で堅牢な報酬モデルである。
論文 参考訳(メタデータ) (2025-12-26T08:26:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。