論文の概要: HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs
- arxiv url: http://arxiv.org/abs/2610.26770v1
- Date: Mon, 19 Oct 2026 17:27:38 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:07:09.730456
- Title: HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs
- Title（参考訳）: HarnessPro: パフォーマンスコストトレードオフのためのパレート最適化による再帰的ハーネス自己改善
- Abstract要約: ハーネス開発は、有能なAIエージェントを構築する上で重要な役割を果たす。
本稿では,ハーネスを進化させるラベルフリーな手法であるHarnessProを紹介し,実行コストを低減しつつタスク性能を向上させる。
Codex と GLM-5.2 の GPT-5.5 と Claude Code を用いた Terminal-Bench 2, SWE-Bench Pro, ProgramBench について検討した。
- 参考スコア（独自算出の注目度）: 25.962035707377975
- License:
- Abstract: Harness development plays a crucial role in building capable AI agents. Recent approaches improve harnesses through recursive self-improvement (RSI), but their performance gains often come with higher execution costs. We introduce HarnessPro, a label-free method for evolving harnesses to improve task performance while reducing execution cost. In this setting, candidate harnesses are evaluated using LLM-generated tests without access to ground-truth solutions or official tests. Specialized agents diagnose execution trajectories, plan updates with different performance-cost priorities, and implement them as candidate harnesses. Rather than returning a single harness, HarnessPro uses normalized weighted squared-distance selection to provide cost-focused (lite), balanced (medium), and performance-focused (heavy) harnesses for different deployment budgets. Selected harnesses enter the next iteration, where execution feedback guides further updates. Our experiments cover Terminal-Bench 2, SWE-Bench Pro, and ProgramBench, using GPT-5.5 with Codex and GLM-5.2 with Claude Code. Across these benchmarks using GPT-5.5 with Codex, the heavy mode of HarnessPro achieves an average pass-rate gain of 2.0 percentage points and an average per-task cost reduction of 26.1% relative to RHO. This advantage also holds when using GLM-5.2 with Claude Code. Code is available at https://github.com/pzs19/HarnessPro
- Abstract（参考訳）: ハーネス開発は、有能なAIエージェントを構築する上で重要な役割を果たす。
近年の手法では、再帰的自己改善(RSI)によってハーネスを改善するが、その性能向上には高い実行コストが伴うことが多い。
本稿では,ハーネスを進化させるラベルフリーな手法であるHarnessProを紹介し,実行コストを低減しつつタスク性能を向上させる。
この設定では, LLM生成試験を用いて, 接地試験や公式試験を行なわずに, 候補ハーネスの評価を行う。
特殊なエージェントが実行軌跡を診断し、異なるパフォーマンスコストの優先順位で更新を計画し、候補ハーネスとして実装する。
単一のハーネスを返す代わりに、HarnessProは通常の重み付き二乗距離選択を使用して、コスト重視(礼儀正しい)、バランスのとれた(平易な)ハーネスとパフォーマンス重視(重厚な)ハーネスを、異なるデプロイメント予算のために提供する。
選択されたハーネスが次のイテレーションに入り、実行フィードバックがさらなる更新をガイドする。
Codex と GLM-5.2 の GPT-5.5 と Claude Code を用いた Terminal-Bench 2, SWE-Bench Pro, ProgramBench について検討した。
これらのベンチマークでは、GPT-5.5をCodexで使用し、ハーネスプロの重モードは、平均パスレートが2.0ポイント、平均タスク当たりコストが26.1%減少する。
この利点は、Claude CodeでGLM-5.2を使用する場合にも有効である。
コードはhttps://github.com/pzs19/HarnessProで入手できる。
関連論文リスト
- Self-Evolving Coding Agents via Harness-Policy Optimization [59.77935668723671]
Self-HPOは、ハーネスとポリシー最適化を代替するコーディングエージェントのための自己改善フレームワークである。
3つのコーディングベンチマークで、Self-HPOはハーネスのみとポリシーのみのベースラインを一貫して上回っている。
Self-HPOはまた、信頼性(Pass@1)を改善し、ベースエージェント上の機能フロンティア(Pass@k)を拡張する。
論文 参考訳（メタデータ） (2026-10-16T01:07:52Z) - MESH-Harness: Self-Improving Agent Harnesses via Bandit-Guided Compositional Evolution [51.00839146188019]
MESH-Harnessは、各ハーネスを明示的なロール固有のインターフェイスを持つ機能モジュールにまとめる。
Mixed-start coordinate ascentは、空間を列挙することなく、評価のための完全な構成を選択する。
繰り返しハーネス最適化はMESH-Harnessを5.63-7.79ポイント改善した。
論文 参考訳（メタデータ） (2026-10-04T15:22:23Z) - Harness-of-Harness: Multi-Day Autonomous Software Development with Continual Improvement [24.314536080009805]
我々は,自律開発において,コーディングエージェントがソフトウェアを継続的に改善できるフレームワークであるHarness-of-Harness(HoH)を紹介した。
HoHは既存のコーディングエージェントハーネスで動作し、実行を反復的な計画コーディングテストループに編成する。
平均相対利得は52.25パーセント、最大利得は3回の反復で82.86パーセントに達する。
論文 参考訳（メタデータ） (2026-09-01T16:17:18Z) - HarnessOpt-Bench: Evaluating LLMs at Harness Optimization [3.846854817984248]
高価な評価体制下でのエンド・ツー・エンドのハーネス最適化のためのベンチマークを導入する。
信頼された実行環境は、評価境界、ターゲットエージェントリソースの使用を強制し、監査のための候補バージョンを保存する。
実験結果から、モデルはコードハーネスよりも分離され、ネイティブハーネスは一貫して優れておらず、タスク間で利得が大きく異なることがわかった。
論文 参考訳（メタデータ） (2026-08-06T17:21:05Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。
RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。
1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
論文 参考訳（メタデータ） (2026-06-04T09:26:00Z) - Meta-Harness: End-to-End Optimization of Model Harnesses [52.31507076660471]
本稿では,大規模言語モデル(LLM)アプリケーションのためのコード検索を行う外部ループシステムであるMeta-Harnessを紹介する。
オンラインテキスト分類では、Meta-Harnessは4倍少ないコンテキストトークンを使用しながら、最先端のコンテキスト管理システムを7.7ポイント改善する。
検索強化数学推論では、200 IMOレベルの問題の精度を5つの保留モデルの平均4.7ポイント向上する。
論文 参考訳（メタデータ） (2026-03-30T05:33:50Z) - Amortized Latent Steering: Low-Cost Alternative to Test-Time Optimization [3.9311957222075935]
Amortized Latent Steering (ALS)は、反復最適化を1つのオフライン計算ベクトルに分解する。
ALSは反復的手法よりも2～5倍のスピードアップを達成し、強欲なCoT(Chain-of-Thought)と自己一貫性(Self-Consistency)のベースラインをマッチまたは超過する。
結果から,潜伏最適化のメリットの大部分はオフラインで取得可能であることが示され,高度な推論技術が本番デプロイメントに有効であることが確認された。
論文 参考訳（メタデータ） (2025-09-10T07:03:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。