論文の概要: HarnessFlow: MCTS-Guided Harness Optimization for LLM Agents
- arxiv url: http://arxiv.org/abs/2611.06254v1
- Date: Wed, 04 Nov 2026 10:05:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.048934
- Title: HarnessFlow: MCTS-Guided Harness Optimization for LLM Agents
- Title（参考訳）: HarnessFlow: MCTS-Guided Harness Optimization for LLM Agents
- Abstract要約: HarnessFlowは、限られた候補評価予算の下で、完全な実行可能なハーネスを最適化するためのフレームワークである。
モンテカルロ・ツリー・サーチ (MCTS) をベースとした政策を用いて、候補者とその評価履歴を改良木に整理し、搾取と探索のバランスをとる。
エージェント的なタスク、コーディング、Webインタラクションにまたがる6つのベンチマークで比較したメソッドの中で、最も高い平均テストスコアを達成します。
- 参考スコア（独自算出の注目度）: 20.16437309647507
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The performance of large language model (LLM) agents depends on both the underlying model and the harness that governs interaction with tools and the environment. Yet harness design remains largely manual, and automating it requires navigating an open-ended search space through costly end-to-end evaluations. We introduce HarnessFlow, a framework for optimizing complete executable harnesses under a limited candidate-evaluation budget, with the model and task environment held fixed. HarnessFlow organizes candidates and their evaluation histories in a refinement tree, using a Monte Carlo Tree Search (MCTS)-based policy to balance exploitation and exploration. A coding agent refines selected harnesses using archived code, execution feedback, and a library of reusable harness mechanisms. With 15 refinement attempts per benchmark, HarnessFlow achieves the highest mean test scores among the compared methods on six benchmarks spanning agentic tasks, coding, and web interaction. The optimized harnesses achieve an average score of 69.48%, outperforming the initial harnesses and Meta-Harness by 10.89 and 3.95 percentage points, respectively, while incurring lower average per-task execution costs than hand-engineered baselines. These results suggest that structured harness search offers a promising route toward automating the design of capable and efficient LLM agents.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントの性能は、ツールと環境との相互作用を管理する基盤モデルとハーネスの両方に依存する。
しかし、ハーネス設計はほとんど手作業のままであり、その自動化には、コストのかかるエンドツーエンドの評価を通じて、オープンな検索スペースをナビゲートする必要がある。
本稿では,モデルとタスク環境を固定した,限られた候補評価予算の下で完全な実行可能ハーネスを最適化するフレームワークであるHarnessFlowを紹介する。
HarnessFlowはモンテカルロ・ツリー・サーチ(MCTS)ベースのポリシーを用いて、候補とその評価履歴を改良木に整理し、エクスプロイトと探索のバランスをとる。
符号化エージェントは、アーカイブされたコード、実行フィードバック、再利用可能なハーネス機構のライブラリを使用して、選択されたハーネスを洗練する。
HarnessFlowは、ベンチマーク毎の15の改善試行によって、エージェントタスク、コーディング、Webインタラクションにまたがる6つのベンチマークで比較したメソッドの中で、最も高い平均テストスコアを達成している。
最適化されたハーネスは平均スコア69.48%に達し、初期ハーネスとメタハーネスをそれぞれ10.89ポイント、メタハーネスを3.95ポイント上回った。
これらの結果から,構造化ハーネス探索は,有能かつ効率的なLLMエージェントの設計を自動化するための有望な経路を提供すると考えられる。
関連論文リスト
- MESH-Harness: Self-Improving Agent Harnesses via Bandit-Guided Compositional Evolution [51.00839146188019]
MESH-Harnessは、各ハーネスを明示的なロール固有のインターフェイスを持つ機能モジュールにまとめる。
Mixed-start coordinate ascentは、空間を列挙することなく、評価のための完全な構成を選択する。
繰り返しハーネス最適化はMESH-Harnessを5.63-7.79ポイント改善した。
論文 参考訳（メタデータ） (2026-10-04T15:22:23Z) - Dynamic Harness Search: Building Multi-Agent Systems Per-Query via Prediction [12.866016727776612]
エージェントハーネスは、タスクの解決に使用される役割、命令、ツール、通信構造を指定する。
クエリごとのサーチループから実行を移動させるShiFTを導入する。
6つのベンチマークで9,193タスクにわたって、Shiftは平均精度が80%に達している。
論文 参考訳（メタデータ） (2026-10-02T23:18:55Z) - AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces [61.51487329124135]
AutoSaddlerは、オフラインの学習問題として改善を活用するフレームワークである。
ミニバッチからの障害信号を使用して、ハーネスを反復的に更新する。
GAIA2, SWE-Bench Pro, Terminal-Bench 2.0 の実験により, AutoSaddler はエージェント性能を大幅に向上することが示された。
論文 参考訳（メタデータ） (2026-08-24T09:45:08Z) - $A^2E$ : An End-to-End Agent Auditing Engine [25.281617098281277]
A2E$はエージェントハーネス用に設計されたエンドツーエンドの評価エンジンである。
実験中に標準化された実行トレースをキャプチャして生成する。
A2E$は多次元メトリクスのスイートを使用してハーネス機能を評価する。
論文 参考訳（メタデータ） (2026-08-07T15:44:12Z) - HarnessOpt-Bench: Evaluating LLMs at Harness Optimization [3.846854817984248]
高価な評価体制下でのエンド・ツー・エンドのハーネス最適化のためのベンチマークを導入する。
信頼された実行環境は、評価境界、ターゲットエージェントリソースの使用を強制し、監査のための候補バージョンを保存する。
実験結果から、モデルはコードハーネスよりも分離され、ネイティブハーネスは一貫して優れておらず、タスク間で利得が大きく異なることがわかった。
論文 参考訳（メタデータ） (2026-08-06T17:21:05Z) - Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。
RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。
1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
論文 参考訳（メタデータ） (2026-06-04T09:26:00Z) - Meta-Harness: End-to-End Optimization of Model Harnesses [52.31507076660471]
本稿では,大規模言語モデル(LLM)アプリケーションのためのコード検索を行う外部ループシステムであるMeta-Harnessを紹介する。
オンラインテキスト分類では、Meta-Harnessは4倍少ないコンテキストトークンを使用しながら、最先端のコンテキスト管理システムを7.7ポイント改善する。
検索強化数学推論では、200 IMOレベルの問題の精度を5つの保留モデルの平均4.7ポイント向上する。
論文 参考訳（メタデータ） (2026-03-30T05:33:50Z) - AgentSwift: Efficient LLM Agent Design via Value-guided Hierarchical Search [58.98450205734779]
大規模言語モデル(LLM)エージェントは、多様なドメインにまたがる強力な機能を示している。
既存のエージェントサーチ手法には3つの大きな制限がある。
これらの課題に対処するための包括的なフレームワークを導入します。
論文 参考訳（メタデータ） (2025-06-06T12:07:23Z) - ScoreFlow: Mastering LLM Agent Workflows via Score-based Preference Optimization [51.280919773837645]
エージェントワークフロー最適化のための高性能フレームワークであるScoreFlowを開発した。
ScoreFlowは、量的フィードバックを考慮に入れた直接選好最適化手法の新たな変種であるScore-DPOを組み込んでいる。
質問応答、コーディング、数学的推論を通じて、既存のベースラインよりも8.2%改善されている。
論文 参考訳（メタデータ） (2025-02-06T18:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。