論文の概要: Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0
- arxiv url: http://arxiv.org/abs/2607.14004v1
- Date: Wed, 15 Jul 2026 16:36:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.832629
- Title: Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0
- Title（参考訳）: エージェント・オプティマイザは化合物か? : ターミナルベンチ2.0の連続学習評価
- Abstract要約: エージェント最適化法で報告されているほとんどの利得はワンショットである。
これは、デプロイされたエージェントにとって重要な設定をテストするものではない。
エージェントハーネス最適化に対する3つのアプローチを比較する。
- 参考スコア（独自算出の注目度）: 53.71882250666667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most reported gains from agent-optimization methods are one-shot: an agent is optimized against a fixed benchmark and the resulting improvement is reported as if it were a stable property of the method. This does not test the setting that matters for deployed agents, where optimization is applied recursively as new failures and new tasks appear over time. The central question this raises is whether optimizer-driven gains compound: after an agent has been optimized once, can it be optimized again on newly arrived tasks without eroding the gains the first round produced? We study this question with a two-phase continual-learning evaluation built from hard tasks in Terminal-Bench 2.0, comparing three approaches to agent-harness optimization (GEPA, Meta Harness, and RELAI's Verifiable Continual Learning, RELAI-VCL) under identical optimization budgets. All three methods improve over the baseline agent in the conventional, static, single-phase setting. However, once new tasks are introduced, the methods diverge sharply: GEPA's optimized agent transfers below the unoptimized baseline, Meta Harness transfers well but fails to improve further once given a second optimization budget, and RELAI-VCL is the only method that both transfers positively to unseen tasks and continues improving after those tasks are folded into the optimization objective, reaching the highest pass rate at every evaluated stage and the highest lifelong average pass rate overall (76.4% vs. 66.0% for GEPA, 64.6% for Meta Harness, and 58.7% for the baseline). Our key observation was that optimization gains compounded only when regression control was built into the optimization loop, providing an inductive bias against shortcut solutions that fail to generalize.
- Abstract（参考訳）: エージェントは固定されたベンチマークに対して最適化され、結果として得られた改善は、メソッドの安定した性質であるかのように報告される。
これは、新しい障害や新しいタスクが時間とともに現れるにつれて、最適化が再帰的に適用される、デプロイされたエージェントにとって重要な設定をテストするものではない。
エージェントが一度最適化された後、第1ラウンドのゲインを損なうことなく、新しく到着したタスクに再び最適化できるだろうか?
本稿では, エージェントハーネス最適化(GEPA, Meta Harness, RELAI の Verifiable Continual Learning, RELAI-VCL)の3つのアプローチを, 同一の最適化予算下で比較した。
これら3つの手法は、従来の静的な単一位相設定において、ベースラインエージェントよりも改善されている。
しかし、新たなタスクが導入されると、GEPAの最適化されたエージェントの転送は最適化されていないベースラインより低くなり、Meta Harnessの転送は順調に進んでいるが、第2の最適化予算が与えられた時点では改善に失敗し、RELAI-VCLは、両方のタスクが未確認タスクにポジティブに移行し、それらのタスクが最適化目標に折り畳まれた後も改善を続ける唯一の方法であり、評価された各ステージで最高パスレートに達し、全体の平均パスレート(GEPAでは76.4%対66.0%、メタハーネスでは64.6%、ベースラインでは58.7%)に達した。
我々のキーとなる観察は、回帰制御が最適化ループに組み込まれた時にのみ最適化ゲインが複雑になり、一般化に失敗するショートカットソリューションに対する帰納的バイアスがもたらされたことである。
関連論文リスト
- COBRA-Skills: Contextual Bandit-Guided Evolution for Agent Skill Optimization [55.60171725587438]
大規模言語モデル(LLM)エージェントは、以前のタスク経験から抽出した再利用可能なスキルの恩恵を受けることができる。
既存のスキル最適化手法は、コストのかかる実行ベースの評価と実質的なタスクデータに依存していることが多い。
動的に進化する候補空間上での予算付き逐次最適化としてスキル最適化を定式化する効率的なフレームワークである textbfCOBRA-Skills を導入する。
論文 参考訳（メタデータ） (2026-09-10T15:12:24Z) - MAGE: Understanding Stability-Performance Trade-offs in Multi-component Prompt Optimization [3.7323766833175718]
MAGE(Memory-Augmented Goal Prompt Evolution)は、コンポーネント間の相互作用を即時最適化する制御分析フレームワークである。
我々の実験は、複数の最適化信号が閉じた反射ループ内で動作しているときに、以前に報告されていない現象である、Prompt Optimization Coupling Effect (POCE)を発見した。
論文 参考訳（メタデータ） (2026-07-11T10:05:58Z) - Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。
RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。
1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
論文 参考訳（メタデータ） (2026-06-04T09:26:00Z) - Towards Direct Evaluation of Harness Optimizers via Priority Ranking [18.644878456671886]
ハーネス最適化がエージェントの情報更新アクションによって駆動されるのか、単にトライ・アンド・エラーであるのかは不明だ。
ハーネスを直接評価するのは簡単ではなく、オラクルハーネスが不足しているためコストがかかる。
評価を行うための簡易で低コストな設計、すなわち優先順位付けを提示する。
論文 参考訳（メタデータ） (2026-05-21T13:55:02Z) - AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation [59.964989458924585]
AdaExploreは、パフォーマンスクリティカルなカーネルコード生成のための蓄積された実行フィードバックによる自己改善を可能にするエージェントフレームワークである。
適応段階では、エージェントはタスクを合成し、繰り返し発生する障害を有効ルールの再利用可能なメモリに変換する。
探索段階では、候補核を木として整理し、小さな局所精製とより大きな構造再生を交互に行う。
論文 参考訳（メタデータ） (2026-04-17T18:25:03Z) - dTRPO: Trajectory Reduction in Policy Optimization of Diffusion Large Language Models [71.26391195427878]
拡散大言語モデル(dLLM)は、言語生成の新しいパラダイムを導入する。
本研究は,軌道確率計算のコストを削減し,dLLMのポリシー最適化を改善することを目的とする。
我々は、7B dLLMのdTRPOを命令追従と推論のベンチマークで評価した。
論文 参考訳（メタデータ） (2026-03-19T11:55:52Z) - PepEVOLVE: Position-Aware Dynamic Peptide Optimization via Group-Relative Advantage [0.0]
PepEVOLVEは位置対応の動的フレームワークで、編集の場所と、多目的改善のためにペプチドを動的に最適化する方法を学ぶ。
治療目的のRev結合マクロサイクルベンチマークでは,PepEVOLVEはPepINVENTよりも高い平均値に達した。
論文 参考訳（メタデータ） (2025-11-21T02:51:15Z) - OptimAI: Optimization from Natural Language Using LLM-Powered AI Agents [8.441638148384389]
自然言語で記述された最適化問題を解くためのフレームワークであるOptimAIを紹介する。
私たちのフレームワークは、フォーミュラ、プランナー、コーダ、コード批判といった重要な役割の上に構築されています。
提案手法では,NLP4LPデータセットで88.1%,Optibenchデータセットで82.3%,エラー率で58%,エラー率で52%の精度を実現した。
論文 参考訳（メタデータ） (2025-04-23T17:45:05Z) - Dynamic Noise Preference Optimization for LLM Self-Improvement via Synthetic Data [51.62162460809116]
我々は、イテレーション間で一貫した改善を保証するために、動的ノイズ優先最適化(DNPO)を導入します。
Zephyr-7Bでの実験では、DNPOは既存の手法を一貫して上回り、平均性能は2.6%向上した。
DNPOは、GPT-4評価のベースラインに比べて29.4%のウィンロス率差で、モデル生成データの品質が大幅に向上したことを示している。
論文 参考訳（メタデータ） (2025-02-08T01:20:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。