論文の概要: AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces
- arxiv url: http://arxiv.org/abs/2608.23041v1
- Date: Mon, 24 Aug 2026 09:45:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.016251
- Title: AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces
- Title（参考訳）: AutoSaddler: エージェント実行トレースからの永続的なアップデートによる自動ハーネス最適化
- Abstract要約: AutoSaddlerは、オフラインの学習問題として改善を活用するフレームワークである。
ミニバッチからの障害信号を使用して、ハーネスを反復的に更新する。
GAIA2, SWE-Bench Pro, Terminal-Bench 2.0 の実験により, AutoSaddler はエージェント性能を大幅に向上することが示された。
- 参考スコア（独自算出の注目度）: 61.51487329124135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents remain unreliable on long-horizon tasks, where small local failures can compound over extended interactions and lead to overall task failure. Although external harnesses can substantially improve robustness, harness design remains a manual and expensive process that requires searching over a large space of prompts, tool configurations, and control logic. We propose AutoSaddler, an automatic harness optimization framework that formulates harness improvement as an offline learning problem and iteratively updates the harness using failure signals from mini-batches. AutoSaddler combines failure-trace diagnosis, structured patch generation that treats the harness as code, and validation-based update selection. Experiments on GAIA2, SWE-Bench Pro, and Terminal-Bench 2.0 show that AutoSaddler substantially improves agent performance over the corresponding base harnesses, achieving gains of 9.0, 9.6, and 10.0 percentage points, respectively. Ablation studies further suggest that effective harness optimization benefits from three ingredients: deep debugging rather than shallow reflection, targeted modifications rather than unconstrained editing, and generalization-aware selection rather than trajectory-specific repair. Together, these results suggest that automatic harness optimization is a promising path toward more performant and reliable agent systems.
- Abstract（参考訳）: LLMエージェントは、小さな局所的な障害が拡張された相互作用を複雑にし、全体的なタスクの失敗につながるような、長期的なタスクには信頼できないままである。
外部ハーネスはロバスト性を大幅に向上させることができるが、ハーネス設計は手作業で高価なプロセスであり、プロンプト、ツール構成、制御ロジックの広い領域を探索する必要がある。
オフライン学習問題として改善を定式化する自動ハーネス最適化フレームワークであるAutoSaddlerを提案し,ミニバッチからの障害信号を用いてそのハーネスを反復的に更新する。
AutoSaddlerは障害トレース診断、ハーネスをコードとして扱う構造化パッチ生成、バリデーションベースの更新選択を組み合わせたものだ。
GAIA2 と SWE-Bench Pro と Terminal-Bench 2.0 の実験では、オートサドラーは対応するベースハーネスのエージェント性能を大幅に改善し、それぞれ 9.0 と 9.6 と 10.0 の利得を得た。
アブレーション研究では、浅い反射よりも深いデバッギング、制約のない編集よりも目的の修正、軌道固有の修復よりも一般化された選択の3つの要素から効果的な利用最適化の利点が示唆された。
これらの結果から,より高性能で信頼性の高いエージェントシステムへの自動最適化が期待できる道のりであることが示唆された。
関連論文リスト
- HarnessOpt-Bench: Evaluating LLMs at Harness Optimization [3.846854817984248]
高価な評価体制下でのエンド・ツー・エンドのハーネス最適化のためのベンチマークを導入する。
信頼された実行環境は、評価境界、ターゲットエージェントリソースの使用を強制し、監査のための候補バージョンを保存する。
実験結果から、モデルはコードハーネスよりも分離され、ネイティブハーネスは一貫して優れておらず、タスク間で利得が大きく異なることがわかった。
論文 参考訳（メタデータ） (2026-08-06T17:21:05Z) - Co-Harness: Co-Evolving Harnesses and Model Weights for LLM Agents [37.91666123749406]
Co-Harnessは、ポストトレーニング中にエージェントハーネスとモデルパラメータを共同で最適化するフレームワークである。
自律的なケーススタディによると、Co-Harnessはシステムのクラッシュから回復し、推論効率を改善し、人間の介入なしにアンサンブル戦略を発見することができる。
論文 参考訳（メタデータ） (2026-07-17T02:39:57Z) - Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0 [53.71882250666667]
エージェント最適化法で報告されているほとんどの利得はワンショットである。
これは、デプロイされたエージェントにとって重要な設定をテストするものではない。
エージェントハーネス最適化に対する3つのアプローチを比較する。
論文 参考訳（メタデータ） (2026-07-15T16:36:04Z) - Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。
RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。
1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
論文 参考訳（メタデータ） (2026-06-04T09:26:00Z) - Adaptive Auto-Harness: Sustained Self-Improvement for Agentic System Deployment on Open-Ended Task Streams [41.672123164003814]
このようなストリームのためのフレームワークとシステムであるAdaptive Auto-Harnessを紹介します。
オラクルハーネスとのギャップを進化損失と適応損失に分解する。
予測市場、セキュリティ競争、イベント予測ストリームで、既存の5つのオートハーネスベースラインを上回ります。
論文 参考訳（メタデータ） (2026-06-01T06:51:14Z) - AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation [59.964989458924585]
AdaExploreは、パフォーマンスクリティカルなカーネルコード生成のための蓄積された実行フィードバックによる自己改善を可能にするエージェントフレームワークである。
適応段階では、エージェントはタスクを合成し、繰り返し発生する障害を有効ルールの再利用可能なメモリに変換する。
探索段階では、候補核を木として整理し、小さな局所精製とより大きな構造再生を交互に行う。
論文 参考訳（メタデータ） (2026-04-17T18:25:03Z) - Meta-Harness: End-to-End Optimization of Model Harnesses [52.31507076660471]
本稿では,大規模言語モデル(LLM)アプリケーションのためのコード検索を行う外部ループシステムであるMeta-Harnessを紹介する。
オンラインテキスト分類では、Meta-Harnessは4倍少ないコンテキストトークンを使用しながら、最先端のコンテキスト管理システムを7.7ポイント改善する。
検索強化数学推論では、200 IMOレベルの問題の精度を5つの保留モデルの平均4.7ポイント向上する。
論文 参考訳（メタデータ） (2026-03-30T05:33:50Z) - Rethinking the Role of Entropy in Optimizing Tool-Use Behaviors for Large Language Model Agents [54.18201810286764]
LLM(Large Language Models)に基づくツール利用エージェントは、数学的推論やマルチホップ質問応答といったタスクに優れる。
長い道のりでは、エージェントはしばしば過度で低品質なツールコールをトリガーし、レイテンシを増大させ、推論性能を低下させる。
本稿では,エントロピー低減を監視信号として使用し,ツール使用行動の最適化ニーズに対処する2つの報奨戦略を設計する。
論文 参考訳（メタデータ） (2026-02-02T12:52:14Z) - ROAD: Reflective Optimization via Automated Debugging for Zero-Shot Agent Alignment [1.6968020497268546]
ROADは、最適化を検索ではなく動的デバッグ調査として扱う新しいフレームワークである。
道路はサンプリング効率が高く、成功率は5.6%、検索精度は3.8%向上している。
これらの結果は、ヒューマンエンジニアリングの失敗分析とパッチングのループを模倣することで、リソース集約的なトレーニングに代わる、実行可能なデータ効率の代替が可能になることを示唆している。
論文 参考訳（メタデータ） (2025-12-30T07:31:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。