論文の概要: Harness-Delta Attribution: Dissecting Gains From Harness Evolution
- arxiv url: http://arxiv.org/abs/2610.22466v1
- Date: Thu, 15 Oct 2026 17:39:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.603341
- Title: Harness-Delta Attribution: Dissecting Gains From Harness Evolution
- Title（参考訳）: Harness-Delta属性: Harness進化から利益を分離する
- Abstract要約: 本稿では, アーティファクト駆動オーバーフィッティングへの進化的ゲインを識別する評価プロトコルであるHarness-Delta Attribution(HDA)を紹介する。
HDAを11のエグゼキュータモデル、数学、コーディング、創造性、エージェントタスクの3つのハーネス進化フレームワークに適用します。
- 参考スコア（独自算出の注目度）: 45.75270729688004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Harness evolution automatically optimizes the prompts, skills, tools, and orchestration code around a fixed-weight model, offering a way to improve agentic systems without updating model weights. The agent harness is iteratively optimized to achieve higher performance on the search set. But how much of this gain reflects benchmark-specific overfitting or additional inference-time compute, and how much may generalize beyond the search set? In this work, we introduce Harness-Delta Attribution (HDA), an evaluation protocol that dissects an evolution gain into artifact-driven overfitting, gains explained by test-time scaling, and the remainder, which gives an upper bound on residual generalizable improvement. We apply HDA to 11 executor models and three harness-evolution frameworks across math, coding, creativity, and agentic tasks. In 21 of these settings that show statistically significant search-set gains, we find that a large share of the improvement is explained by overfitting or test-time scaling. Specifically, among these 21 settings, overfitting and test-time scaling account for 54% and 14% of the gain on average; their combined share exceeds 50% in 14 settings. The residual and held-out transfer vary substantially across tasks, models, and frameworks. Importantly, search-set gains often fail to transfer to held-out tasks, and provide limited evidence that they will persist under practical distribution shifts. Moreover, validation-based signals are insufficient to prevent overfitting. These results motivate attribution-aware evaluation in future harness evolution research.
- Abstract（参考訳）: Harnessの進化は、固定ウェイトモデルのプロンプト、スキル、ツール、オーケストレーションコードを自動的に最適化し、モデルの重みを更新せずにエージェントシステムを改善する方法を提供する。
エージェントハーネスは、検索セット上で高い性能を達成するために反復的に最適化される。
しかし、この利益のどれ程が、ベンチマーク固有のオーバーフィッティングや推論時間計算の追加を反映しているのか。
本稿では,HDA(Harness-Delta Attribution)について述べる。HDA(Halness-Delta Attribution)は,アーティファクト駆動のオーバーフィッティングに進化的ゲインを識別する評価プロトコルである。
HDAを11のエグゼキュータモデル、数学、コーディング、創造性、エージェントタスクの3つのハーネス進化フレームワークに適用します。
統計的に重要な検索セットのゲインを示すこれらの設定のうち21では、オーバーフィッティングやテストタイムスケーリングによって改善の大部分が説明されている。
具体的には、この21の設定の中で、オーバーフィッティングとテストタイムのスケーリングは平均して54%と14%を占めており、合計のシェアは14の設定で50%を超えている。
残余と保留の転送はタスク、モデル、フレームワークによって大きく異なる。
重要なことは、検索セットのゲインは、しばしば保留タスクへの転送に失敗し、実践的な分散シフトの下で継続する、という限定的な証拠を提供する。
さらに、過度な適合を防ぐには検証ベースの信号が不十分である。
これらの結果は、将来のハーネス進化研究における帰属意識評価を動機付けている。
関連論文リスト
- RSI-Anything: Unlocking Recursive Self-Improvement with World Models [76.79361510862277]
RSI-AnythingはJEPA-Anything上に構築されたドメイン・ジェネラル・フレームワークである。
予測ワールドモデルを使用して、アクションと学習データの選択をガイドする。
コード修復では、コーダーが固定され、静的検証器で成功率は26.3%から予測選択により29.2%に増加する。
論文 参考訳（メタデータ） (2026-10-09T17:50:30Z) - Automatic Harness Evolution for Hardware Design Verification: Can LLMs Consolidate Gains Across Discovered Harnesses? [0.5371337604556311]
固定対象モデルの周辺における自動ハーネスの進化を,12の独自設計検証根本位置化タスクを用いて検討した。
タスク毎の5回の試行で、自動的に進化したハーネスは、完了した試行を71-76%増加させ、非ヒットなタスクカバレッジを80-100%増加させた。
CVDPのクロスベンチマークケーススタディでは、自動的に進化した定義幅の修理ハーネスが142タスクの基準ベースラインよりも35.6%機能的なパスを生成した。
論文 参考訳（メタデータ） (2026-09-24T01:41:01Z) - Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。
$textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
論文 参考訳（メタデータ） (2026-08-20T15:24:54Z) - Rethinking Self-Evolving Agent Skills: Feedback Dynamics over Multiple Rounds [43.5891705224868]
自己進化型スキルシステムは、基礎となるモデルを変更することなく、実行フィードバックを永続的なスキル更新に変換することでエージェントを改善することを約束する。
5つのベンチマークと3つのモデルで制御された評価フレームワークを提案する。
全体として、永続的なスキルの自己進化は、モデル依存リターンとベンチマーク依存リターンを備えたスパース、バリデーションフィルタリング検索として理解されている。
論文 参考訳（メタデータ） (2026-07-31T04:02:51Z) - Recursive Harness Self-Improvement [28.432258880153125]
モデル-ハーネス共進化の下では、ハーネスはデータ生成コンポーネントであり、実行トレースは将来の基礎モデルを形成することができる。
本稿では,エージェントループのプロンプトレベル仕様としてハーネスを表現したRecursive Harness Self-Improvement (RHI)を紹介する。
RHIは、自身のリビジョン履歴に対してペアのフィードバックを使って、反復的にそれを洗練します。
論文 参考訳（メタデータ） (2026-07-17T00:21:19Z) - HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry [35.87794858139959]
HarnessXは、構成可能、適応可能、進化可能なエージェントハーネス用のファウンダリーである。
型付きハーネスプリミティブを置換代数学で組み立て、AIGISを介して適応する。
軌道をハーネス更新とモデルトレーニング信号の両方に変換することでハーネスモデルループを閉じる。
論文 参考訳（メタデータ） (2026-06-12T08:27:11Z) - Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses [57.20181537213498]
Agentic Harness Engineering (AHE)は、ハーネスエンジニアリングを自動化するクローズドループである。
AHEは3つの一致した可観測性柱を通じて課題に対処する。
10 AHE lift pass@1 on Terminal-Bench 2 from 69.7% to 77.0%。
SWE-bench-verifiedでは、種子よりも12%少ないトークンで合計成功率を上回り、ターミナルベンチ2では+5.1から+10.1ppのクロスファミリーゲインを得る。
論文 参考訳（メタデータ） (2026-04-28T16:55:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。