論文の概要: Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification
- arxiv url: http://arxiv.org/abs/2608.27311v1
- Date: Thu, 27 Aug 2026 16:12:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.483544
- Title: Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification
- Title（参考訳）: より賢く、さらに進化する:行動認識による効率的な調和進化
- Abstract要約: 既存の提案と検証のメソッドは、固定されたタスクセットですべての候補をスコアします。
私たちは、自動化ハーネス進化のための予算対応フレームワークであるHarnessLensを紹介します。
- 参考スコア（独自算出の注目度）: 30.941867057615223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent harnesses shape how language-model agents use instructions, tools, and runtime components, but adapting these harnesses requires costly verification. Existing propose-and-verify methods typically score every candidate on a fixed task set, wasting rollouts on unrelated behaviors and allowing aggregate scores to obscure specific regressions. We introduce HarnessLens, a budget-aware framework for automated harness evolution. HarnessLens jointly explores the task space and user-configurable components, derives candidate modifications from execution trajectories, and selectively verifies each candidate on behavior-relevant tasks using an attributable-evidence gate. Across three agent harnesses and four benchmarks, HarnessLens improves average held-out performance by 7.6-13.6% while consuming substantially less evaluation budget than competing baselines. These results demonstrate that behavior-aware verification with explicit attribution enables more reliable and sample-efficient harness evolution under constrained interaction budgets. Our code is available at https://github.com/jhxu5214/HarnessLens.
- Abstract（参考訳）: エージェントハーネスは、言語モデルエージェントが命令、ツール、ランタイムコンポーネントをどのように使用するかを形成するが、これらのハーネスを適用するには、高価な検証が必要である。
既存の提案と検証手法は、通常、固定されたタスクセットですべての候補をスコアし、無関係な振る舞いのロールアウトを無駄にし、集計スコアが特定のレグレッションを曖昧にする。
私たちは、自動化ハーネス進化のための予算対応フレームワークであるHarnessLensを紹介します。
HarnessLensはタスク空間とユーザ構成可能なコンポーネントを共同で探索し、実行軌跡から候補変更を導出し、帰属可能なゲートを使用して各候補が行動関連タスクについて選択的に検証する。
3つのエージェントハーネスと4つのベンチマークで、HarnessLensは平均ホールドアウト性能を7.6-13.6%改善し、評価予算は競合するベースラインよりも大幅に少ない。
これらの結果は、明示的な属性による行動認識検証により、制約された相互作用予算の下でより信頼性が高く、サンプル効率の良いハーネスの進化を可能にすることを示す。
私たちのコードはhttps://github.com/jhxu5214/HarnessLens.orgから入手可能です。
関連論文リスト
- COBRA-Skills: Contextual Bandit-Guided Evolution for Agent Skill Optimization [55.60171725587438]
大規模言語モデル(LLM)エージェントは、以前のタスク経験から抽出した再利用可能なスキルの恩恵を受けることができる。
既存のスキル最適化手法は、コストのかかる実行ベースの評価と実質的なタスクデータに依存していることが多い。
動的に進化する候補空間上での予算付き逐次最適化としてスキル最適化を定式化する効率的なフレームワークである textbfCOBRA-Skills を導入する。
論文 参考訳（メタデータ） (2026-09-10T15:12:24Z) - HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。
Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。
Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
論文 参考訳（メタデータ） (2026-09-01T15:45:33Z) - HarnessEvolve: Learning from Reference Trajectories for Reliable Agent Self-Evolution [11.431479238875712]
我々は、信頼できるエージェントの自己進化を実現するために、参照軌道から学習する自己進化フレームワークであるHarnessEvolveを紹介する。
私たちは、さまざまなモデルとエージェントフレームワークを使用して、オープンドメインとエンタープライズシナリオにまたがるいくつかのベンチマークで広範な実験を行います。
結果は、HarnessEvolveがすべてのベンチマークと設定で、最先端のベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-09-01T07:31:18Z) - Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。
$textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
論文 参考訳（メタデータ） (2026-08-20T15:24:54Z) - $A^2E$ : An End-to-End Agent Auditing Engine [25.281617098281277]
A2E$はエージェントハーネス用に設計されたエンドツーエンドの評価エンジンである。
実験中に標準化された実行トレースをキャプチャして生成する。
A2E$は多次元メトリクスのスイートを使用してハーネス機能を評価する。
論文 参考訳（メタデータ） (2026-08-07T15:44:12Z) - MemoHarness: Agent Harnesses That Learn from Experience [46.167787606315585]
私たちはMemoHarnessを紹介した。MemoHarnessは適応型ハーネス最適化フレームワークで、独自の実行から学習する。
MemoHarnessは、ハーネスを6つの編集可能なコントロールディメンションに分解し、ケースごとの診断と蒸留されたグローバルパターンを二重層体験バンクに格納する。
MemoHarnessは、シェルエージェント、コードジェネレーション、分析推論ベンチマークを対象とし、私たちが比較した固定ハーネスよりも改善し、目に見えないスイートやベースモデルへの選択的移行を示す。
論文 参考訳（メタデータ） (2026-07-14T21:22:18Z) - Rethinking the Evaluation of Harness Evolution for Agents [83.07258924910069]
既存のハーネス進化法では、単体テストケースを使用してハーネス構成を検索し、同じ公開ベンチマークで最終的なパフォーマンスを報告している。
このプロトコルは2つの基本的な懸念を提起する。
エージェントによるテスト時間スケーリングと同様に、一致したフィードバックと推論予算の下で単純なタスクレベルの検索ベースラインと比較すべきである。
論文 参考訳（メタデータ） (2026-07-14T00:18:42Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - TAPO: Tool-Aware Policy Optimization via Credit Transfer for Multimodal Search Agents [54.08846865906602]
ツール強化マルチモーダルサーチエージェントにおいて,クレジットミス割り当てをGRPOの系統的障害モードとして特徴付ける。
本稿では,情報取得ツールのパラメータ決定性を利用したツール・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。
論文 参考訳（メタデータ） (2026-06-04T07:15:43Z) - Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses [57.20181537213498]
Agentic Harness Engineering (AHE)は、ハーネスエンジニアリングを自動化するクローズドループである。
AHEは3つの一致した可観測性柱を通じて課題に対処する。
10 AHE lift pass@1 on Terminal-Bench 2 from 69.7% to 77.0%。
SWE-bench-verifiedでは、種子よりも12%少ないトークンで合計成功率を上回り、ターミナルベンチ2では+5.1から+10.1ppのクロスファミリーゲインを得る。
論文 参考訳（メタデータ） (2026-04-28T16:55:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。