論文の概要: Rethinking the Evaluation of Harness Evolution for Agents
- arxiv url: http://arxiv.org/abs/2607.12227v1
- Date: Tue, 14 Jul 2026 00:18:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:29.997386
- Title: Rethinking the Evaluation of Harness Evolution for Agents
- Title（参考訳）: エージェントのハーネス進化評価の再考
- Abstract要約: 既存のハーネス進化法では、単体テストケースを使用してハーネス構成を検索し、同じ公開ベンチマークで最終的なパフォーマンスを報告している。
このプロトコルは2つの基本的な懸念を提起する。
エージェントによるテスト時間スケーリングと同様に、一致したフィードバックと推論予算の下で単純なタスクレベルの検索ベースラインと比較すべきである。
- 参考スコア（独自算出の注目度）: 83.07258924910069
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We revisit the evaluation of automatic harness evolution for LLM agents. Existing harness evolution methods use unit test cases to search for harness configurations and then report final performance on the same public benchmark. This protocol raises two fundamental concerns. First, harness evolution is itself an iterative search procedure that repeatedly evaluates and revises candidate harnesses using task feedback. As in agentic test-time scaling, it should therefore be compared with simple task-level search baselines under matched feedback and inference budgets to determine whether its gains arise from improved harness design or from additional search alone. Second, because the search and the final evaluation share the same benchmark, the reported gains risk overfitting to that specific task set. To address these concerns, we conduct an extensive evaluation comparing harness evolution with simple test-time scaling and discovery baselines under comparable feedback and inference budgets, and also evaluate evolved harnesses on held-out tasks to assess whether the discovered improvements generalize. Experiments on Terminal-Bench 2.1 with GPT-5.4 and Claude Opus 4.6 show that automatic harness evolution does not consistently outperform simple test-time scaling methods and exhibits limited generalization. Our results raise important questions about the effectiveness of automatic harness evolution and highlight the need for fairer evaluation protocols and benchmarks for automatic harness design. Our code is available at https://github.com/rethinking-harness-evolution.
- Abstract（参考訳）: LLMエージェントの自動ハーネス進化の評価を再検討する。
既存のハーネス進化法では、単体テストケースを使用してハーネス構成を検索し、同じ公開ベンチマークで最終的なパフォーマンスを報告している。
このプロトコルは2つの基本的な懸念を提起する。
第一に、ハーネスの進化は、タスクフィードバックを用いて候補ハーネスを繰り返し評価し、修正する反復的な探索手順である。
エージェントによるテストタイムスケーリングと同様に、単純なタスクレベルの検索ベースラインを一致したフィードバックや推論予算の下で比較して、ハーネス設計の改善や追加検索のみによる利得が生じるかどうかを判断する必要がある。
第2に、検索と最終評価が同じベンチマークを共有するため、報告された結果、その特定のタスクセットに過度に適合するリスクが増大する。
これらの問題に対処するために、我々は、簡単なテスト時間スケーリングと、同等のフィードバックや推論予算の下での発見ベースラインと、ハーネスの進化を比較検討し、また、得られた改善が一般化するかどうかを評価するために、ホールドアウトタスクにおける進化したハーネスを評価する。
GPT-5.4 と Claude Opus 4.6 による Terminal-Bench 2.1 の実験では、自動ハーネスの進化は単純なテスト時間スケーリング法を一貫して上回るものではなく、限定的な一般化を示している。
本研究は, 自動ハーネス開発の有効性に関する重要な疑問を提起し, 自動ハーネス設計のための公平な評価プロトコルとベンチマークの必要性を強調した。
私たちのコードはhttps://github.com/rethinking-harness-evolution.comで公開されています。
関連論文リスト
- HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。
Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。
Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
論文 参考訳（メタデータ） (2026-09-01T15:45:33Z) - Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification [30.941867057615223]
既存の提案と検証のメソッドは、固定されたタスクセットですべての候補をスコアします。
私たちは、自動化ハーネス進化のための予算対応フレームワークであるHarnessLensを紹介します。
論文 参考訳（メタデータ） (2026-08-27T16:12:23Z) - Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。
$textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
論文 参考訳（メタデータ） (2026-08-20T15:24:54Z) - Automated Discovery Has No Universally Superior Harness [63.53666712024897]
我々はOpenEvolveスタイルの進化的探索とTT-Discoverサーチハーネスを構成成分に分解する。
12組のモデルプロブレムペアで30個の予算整合ハーネスを評価した。
論文 参考訳（メタデータ） (2026-07-20T17:59:37Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - BenchTrace: A Benchmark for Testing Reflection Ability and Controlled Evolution in LLM Agents [24.997265534888626]
LLMエージェントの自己進化能力を評価するベンチマークである textbfBenchTrace を提案する。
BenchTraceは6つのタスクにまたがる1,821の注釈付きエピソードのスナップショット・リフレクションデータセット上に構築されている。
エージェントがターゲットの障害インスタンスをうまく回避するテストケースの割合を計測する新しい評価指標であるtextbffailure avoidance rate (FAR) を提案する。
論文 参考訳（メタデータ） (2026-05-28T01:25:37Z) - What Do Evolutionary Coding Agents Evolve? [46.561777689365165]
EvoTraceは4つの進化的フレームワーク、推論と非推論モデル、数学とアルゴリズム設計にまたがる16のタスクからなる進化的コーディングトレースのデータセットである。
本研究では,これらのトレースを,ハイスコアソリューションの裏側にある局所的な検索状態を再構成するリプレイベースの手法であるEvoReplayを用いて解析する。
EvoTrace全体では、ほとんどのスコアはこれらの編集タイプの小さなサブセットから得ている。
論文 参考訳（メタデータ） (2026-05-19T16:41:45Z) - FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。
レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。
我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
論文 参考訳（メタデータ） (2026-04-14T17:04:25Z) - Towards Better Evolution Modeling for Temporal Knowledge Graphs [0.0]
時間的知識グラフ(TKG)は、人間の知識の進化を保存している。
最近の研究は、将来の事実を予測するため、TKGの進化的性質を学ぶためのモデルの設計に焦点を当てている。
既存のベンチマークは必然的にショートカットを導入しています。
論文 参考訳（メタデータ） (2026-02-09T07:37:40Z) - Chain-of-Retrieval Augmented Generation [91.02950964802454]
本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。
提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
論文 参考訳（メタデータ） (2025-01-24T09:12:52Z) - Solving Offline Reinforcement Learning with Decision Tree Regression [0.0]
本研究は, オフライン強化学習問題に対して, 回帰タスクとして再検討することで, 新たなアプローチを提案する。
我々は、リターン条件付きとリターン重み付き決定ツリーポリシーの2つの異なるフレームワークを紹介します。
オフラインRLに対するこの改定されたアプローチに固有の単純化にもかかわらず、我々のエージェントは、少なくとも確立された手法と同等の性能を示す。
論文 参考訳（メタデータ） (2024-01-21T23:50:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。