論文の概要: HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
- arxiv url: http://arxiv.org/abs/2608.06301v1
- Date: Thu, 06 Aug 2026 17:21:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.811485
- Title: HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
- Title（参考訳）: HarnessOpt-Bench: Harness OptimizationにおけるLLMの評価
- Abstract要約: 高価な評価体制下でのエンド・ツー・エンドのハーネス最適化のためのベンチマークを導入する。
信頼された実行環境は、評価境界、ターゲットエージェントリソースの使用を強制し、監査のための候補バージョンを保存する。
実験結果から、モデルはコードハーネスよりも分離され、ネイティブハーネスは一貫して優れておらず、タスク間で利得が大きく異なることがわかった。
- 参考スコア（独自算出の注目度）: 3.846854817984248
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As LLMs are increasingly deployed within agentic systems, their capabilities depend not only on the model weights but also on the harness: the prompts, tools, control flow, memory, and orchestration code surrounding them. This makes automated harness optimization -- the iterative and evaluation-guided improvement of a harness by an AI system -- both an important route to improving AI systems and a demanding capability for AI systems themselves. Yet the community lacks a common protocol for measuring how well frontier LLMs perform at this task. We introduce HarnessOpt-Bench, a benchmark for end-to-end harness optimization under expensive and stochastic evaluation. An optimizer, an LLM paired with a coding harness, receives a target agent's seed harness, graded evaluation feedback, and a fixed target-evaluation budget. It edits the harness and nominates a final candidate, which is scored by its normalized gain over the seed on a held-out test partition that remains inaccessible throughout search. A trusted execution environment enforces the evaluation boundary, meters target-agent resource use, and preserves candidate versions for audit. We evaluate 5 frontier LLMs as optimizers both under a shared coding harness and under their native harnesses across 4 downstream tasks, over 111 scored runs. Experiment results show that optimizer models separate more than the coding harnesses they act through, native harnesses are not consistently superior, and gains vary substantially across tasks and seed regimes. These results establish harness optimization as a measurable and discriminative capability with large space for improvement.
- Abstract（参考訳）: LLMがエージェントシステムにますますデプロイされるにつれて、それらの能力はモデルウェイトだけでなく、プロンプト、ツール、制御フロー、メモリ、そしてそれらを取り巻くオーケストレーションコードにも依存する。
これにより、AIシステムによるハーネスの反復的かつ評価誘導的な改善である自動ハーネス最適化が、AIシステムの改善への重要なルートと、AIシステム自体の要求機能の両方を実現する。
しかし、コミュニティは、このタスクにおけるフロンティアLSMのパフォーマンスを測る共通のプロトコルを欠いている。
本稿では,HalnessOpt-Benchを,高コストかつ確率的な評価の下でエンドツーエンドのハーネス最適化のためのベンチマークとして導入する。
符号化ハーネスと組み合わせたLLMであるオプティマイザは、目標エージェントのシードハーネス、格付けされた評価フィードバック、固定された目標評価予算を受信する。
ハーネスを編集し、最終候補を指名する。これは、検索を通してアクセスできない保持されたテストパーティション上で、シードに対して正規化された利得によってスコア付けされる。
信頼された実行環境は、評価バウンダリ、メーターターゲットエージェントリソースの使用を強制し、監査のための候補バージョンを保存する。
我々は、5つのフロンティアLSMを、共有符号化ハーネスと4つの下流タスクにまたがるネイティブハーネスの両方で最適化し、111以上のスコアルランで評価した。
実験の結果、オプティマイザモデルはコードハーネスよりも分離され、ネイティブハーネスは一貫して優れておらず、タスクやシードレギュレーションによって大きく異なることがわかった。
これらの結果から, 評価可能な識別能力として利用効率の最適化が確立され, 大幅な改善が期待できる。
関連論文リスト
- AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces [61.51487329124135]
AutoSaddlerは、オフラインの学習問題として改善を活用するフレームワークである。
ミニバッチからの障害信号を使用して、ハーネスを反復的に更新する。
GAIA2, SWE-Bench Pro, Terminal-Bench 2.0 の実験により, AutoSaddler はエージェント性能を大幅に向上することが示された。
論文 参考訳（メタデータ） (2026-08-24T09:45:08Z) - Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。
$textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
論文 参考訳（メタデータ） (2026-08-20T15:24:54Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-06T17:59:35Z) - Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。
RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。
1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
論文 参考訳（メタデータ） (2026-06-04T09:26:00Z) - Towards Direct Evaluation of Harness Optimizers via Priority Ranking [18.644878456671886]
ハーネス最適化がエージェントの情報更新アクションによって駆動されるのか、単にトライ・アンド・エラーであるのかは不明だ。
ハーネスを直接評価するのは簡単ではなく、オラクルハーネスが不足しているためコストがかかる。
評価を行うための簡易で低コストな設計、すなわち優先順位付けを提示する。
論文 参考訳（メタデータ） (2026-05-21T13:55:02Z) - ACE: Self-Evolving LLM Coding Framework via Adversarial Unit Test Generation and Preference Optimization [28.464748466548965]
ACEは、ソルバ・アドバイザリーアーキテクチャに基づく自己進化型コード生成フレームワークである。
実行中心の監視を通じて、アクティブな障害発見を優先する。
ACEは強いソルバよりも一貫して優れています。
論文 参考訳（メタデータ） (2026-04-17T07:20:01Z) - Meta-Harness: End-to-End Optimization of Model Harnesses [52.31507076660471]
本稿では,大規模言語モデル(LLM)アプリケーションのためのコード検索を行う外部ループシステムであるMeta-Harnessを紹介する。
オンラインテキスト分類では、Meta-Harnessは4倍少ないコンテキストトークンを使用しながら、最先端のコンテキスト管理システムを7.7ポイント改善する。
検索強化数学推論では、200 IMOレベルの問題の精度を5つの保留モデルの平均4.7ポイント向上する。
論文 参考訳（メタデータ） (2026-03-30T05:33:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。