論文の概要: Ecdysis: Efficient and Effective Training of Runtime Harnesses for LLM Agents
- arxiv url: http://arxiv.org/abs/2609.11677v1
- Date: Thu, 10 Sep 2026 15:09:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.412822
- Title: Ecdysis: Efficient and Effective Training of Runtime Harnesses for LLM Agents
- Title（参考訳）: Ecdysis: LLMエージェントのための実行時ハーネスの効率的かつ効果的なトレーニング
- Abstract要約: 自己進化型ランタイムハーネスは、大規模言語モデル(LLM)エージェントの機能を大幅に改善することができる。
既存のハーネス進化法は反復探索に依存し、候補ハーネスの繰り返し評価と修正を行う。
Ecdysisは、モデル固有の宿泊施設と系統的なハーネス不足を区別する効率的かつ効果的なフレームワークである。
- 参考スコア（独自算出の注目度）: 25.41577484327689
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-evolving runtime harnesses can substantially improve the capabilities of large language model (LLM) agents and provide a promising paradigm for optimizing agent execution. Existing harness evolution methods typically rely on iterative search, repeatedly evaluating and revising candidate harnesses based on execution feedback from task instances. While this paradigm enables continuous harness optimization, it incurs substantial time overhead due to repeated agent executions and code modifications, and may overfit to observed tasks and specific failure patterns, resulting in degraded generalization to unseen tasks. We identify the lack of principled failure diagnosis as a key bottleneck in harness evolution: an observed failure can reflect either model-specific deficiencies or systematic harness deficiencies, and directly optimizing against individual failures can lead to unnecessary model-specific accommodation. We therefore propose Ecdysis, an efficient and effective framework that distinguishes model-specific accommodation from harness-level repair and biases adaptation toward systematic harness deficiencies by identifying recurring cross-task failure patterns. Ecdysis adopts a batch-level cross-instance failure aggregation paradigm to jointly analyze failure evidence from multiple task instances and further introduces Failure-Driven Collaborative Refinement to diagnose failure causes and iteratively refine harness modification specifications. By combining cross-instance failure analysis with multi-role diagnosis, Ecdysis enables more effective harness evolution with lower training time. Experiments show that Ecdysis achieves up to a 1.84x speedup in harness training compared with existing harness evolution methods, while improving the reasoning accuracy of the resulting harnesses by 18.56%.
- Abstract（参考訳）: 自己進化型ランタイムハーネスは、大規模言語モデル(LLM)エージェントの機能を大幅に改善し、エージェントの実行を最適化するための有望なパラダイムを提供する。
既存のハーネス進化法は、通常反復探索に頼り、タスクインスタンスの実行フィードバックに基づいて候補ハーネスを繰り返し評価し、修正する。
このパラダイムは継続的なハーネス最適化を可能にするが、繰り返しエージェントの実行やコード修正によってかなりの時間的オーバーヘッドを発生させ、観察されたタスクや特定の障害パターンに過度に適合する可能性があるため、目に見えないタスクへの一般化が低下する可能性がある。
観察された障害は、モデル固有の欠陥または体系的な機能不全を反映し、個々の障害に対して直接最適化することは、不要なモデル固有の宿泊に繋がる。
そこで本研究では,モデル固有の宿泊施設とハーネスレベルの修復を区別し,繰り返し発生するクロスタスク障害パターンを同定することにより,系統的なハーネス欠陥への適応を効果的かつ効果的なフレームワークであるEcdysisを提案する。
Ecdysisでは、バッチレベルのクロスインスタンス障害集約パラダイムを採用して、複数のタスクインスタンスから障害証拠を共同で分析すると同時に、障害原因の診断と修正仕様の反復的改善のために、障害駆動コラボレーションリファインメントを導入している。
クロスインスタンス障害解析とマルチロール診断を組み合わせることで、Ecdysisはトレーニング時間を短縮し、より効果的なハーネス進化を可能にする。
実験の結果、エキディシスは既存のハーネス進化法と比較して、ハーネスのトレーニングにおいて最大1.84倍のスピードアップを達成し、その結果のハーネスの推論精度は18.56%向上した。
関連論文リスト
- ModularRSI: Modular and Generalizable Recursive Harness Self-Improvement [46.36989489677189]
我々は、一般化可能なハーネス進化のための、ベンチマーク非結合、コントラストおよびモジュラーフレームワークを提案する。
ModularRSIは、同じタスクに対する成功と失敗の軌跡を対比し、繰り返し発生する行動障害を特定するために、タスク全体で証拠を集約する。
進化可能なハーネスを,エージェントループ,ツール使用,監視管理,コンテキスト管理,タスク補完検出という,5つの機能モジュールに分解する。
論文 参考訳（メタデータ） (2026-09-14T00:10:45Z) - Evo-Bench: Can Language Models Improve Agent Harness? [44.72089415085898]
Evo-Benchは、検索、オフィス、ジェネラルエージェントドメインにまたがるモデル固有のハーネス進化能力を評価するために設計された最初のベンチマークである。
トップモデルは16.6ポイントに達し、最先端の人間工学ベースラインに近づいた。
論文 参考訳（メタデータ） (2026-08-10T03:49:28Z) - Recursive Harness Self-Improvement [28.432258880153125]
モデル-ハーネス共進化の下では、ハーネスはデータ生成コンポーネントであり、実行トレースは将来の基礎モデルを形成することができる。
本稿では,エージェントループのプロンプトレベル仕様としてハーネスを表現したRecursive Harness Self-Improvement (RHI)を紹介する。
RHIは、自身のリビジョン履歴に対してペアのフィードバックを使って、反復的にそれを洗練します。
論文 参考訳（メタデータ） (2026-07-17T00:21:19Z) - Rethinking the Evaluation of Harness Evolution for Agents [83.07258924910069]
既存のハーネス進化法では、単体テストケースを使用してハーネス構成を検索し、同じ公開ベンチマークで最終的なパフォーマンスを報告している。
このプロトコルは2つの基本的な懸念を提起する。
エージェントによるテスト時間スケーリングと同様に、一致したフィードバックと推論予算の下で単純なタスクレベルの検索ベースラインと比較すべきである。
論文 参考訳（メタデータ） (2026-07-14T00:18:42Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - Harnesses for Inference-Time Alignment over Execution Trajectories [13.182534464050695]
推論時間軌道アライメントのレンズによるハーネス設計について検討する。
この分解により、ワークフロー、再試行予算、ガイダンスによるアクションの重み付けがハーネス設計のパフォーマンス限界を形作る方法の定量化が可能になります。
この理論に触発されて、有効なハーネスは部分的であることを示す: 初期ステップのみを指定し、残りの実行をエージェントに残すことで、より高いパスレートを達成することができる。
論文 参考訳（メタデータ） (2026-05-15T12:47:13Z) - On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。
本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。
実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
論文 参考訳（メタデータ） (2026-05-12T11:33:49Z) - Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。
提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。
本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-03T15:32:09Z) - Training Reasoning Models on Saturated Problems via Failure-Prefix Conditioning [0.3823356975862005]
本研究では,飽和問題から学習する簡易かつ効果的な手法であるフェールコンディショニングを提案する。
障害発生条件付けにより,中級難易度問題における訓練条件に適合する性能向上が期待できる。
以上の結果から, 故障条件付けは飽和問題に対するRLVRトレーニングの拡張に有効な経路であることが示唆された。
論文 参考訳（メタデータ） (2026-01-28T18:29:21Z) - Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。
モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。
因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
論文 参考訳（メタデータ） (2025-02-07T17:01:37Z) - SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier
Detection [63.253850875265115]
外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。
そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
論文 参考訳（メタデータ） (2020-03-11T00:22:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。