論文の概要: HarnessCompass: Guiding Automatic Harness Evolution toward Generalizable and Effective Agent Harnesses
- arxiv url: http://arxiv.org/abs/2608.01918v1
- Date: Mon, 03 Aug 2026 08:51:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.419517
- Title: HarnessCompass: Guiding Automatic Harness Evolution toward Generalizable and Effective Agent Harnesses
- Title（参考訳）: HarnessCompass: 汎用的で効果的なエージェントハーネスに向けた自動ハーネス進化の誘導
- Abstract要約: Harness設計は、大規模言語モデル(LLM)が実行環境内でどのように認識し、推論し、動作しているかを形作ることで、エージェントのパフォーマンスにおいて重要な役割を果たす。
最近の研究は、エージェント-環境相互作用からハーネスを反復的に改善する自動ハーネス進化を提案している。
制約付き進化、積極的フィードバック、コンポーネントワイド最適化を中心に構築された新しい自動ハーネス進化フレームワークであるHarnessを提案する。
- 参考スコア（独自算出の注目度）: 17.229636050055266
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Harness design plays a critical role in agent performance by shaping how large language models (LLMs) perceive, reason over, and act within executable environments. Recent work has proposed automatic harness evolution, which iteratively improves the harness from agent--environment interactions. However, existing methods often overfit to the evolution tasks, rely exclusively on trajectory-derived signals, and optimize harness components jointly, causing interference across components. We propose HarnessCompass, a novel automatic harness evolution framework built around constrained evolution, proactive feedback, and component-wise optimization. HarnessCompass first enforces global constraints on evolution, restricting modifications to task-agnostic harness changes that generalize beyond the evolution tasks. It then augments trajectory-derived evidence with proactive first-person feedback from the agent about harness usage, yielding richer signals for evolution. Finally, it decouples the optimization of different harness components before consolidating them into a unified harness, reducing cross-component interference while preserving component synergy. On SWE-bench Verified with GPT-5.4, HarnessCompass improves Pass@1 from 54\% to 66\% in only 5 evolution iterations, outperforming AHE in both effectiveness and evolution efficiency. In addition, the evolved harness transfers effectively to held-out tasks and other models, demonstrating substantially stronger generalization than prior automatic harness evolution methods.
- Abstract（参考訳）: ハーネス設計は、大規模言語モデル(LLM)が実行環境内でどのように認識し、推論し、動作しているかを形作ることで、エージェントのパフォーマンスにおいて重要な役割を果たす。
最近の研究は、エージェント-環境相互作用からハーネスを反復的に改善する自動ハーネス進化を提案している。
しかし、既存の手法は進化のタスクに過度に適合し、軌道由来の信号にのみ依存し、コンポーネントを協調的に最適化し、コンポーネント間の干渉を引き起こす。
本稿では,制約付き進化,積極的フィードバック,コンポーネントワイド最適化を中心に構築された新しい自動ハーネス進化フレームワークであるHarnessCompassを提案する。
HarnessCompassはまず、進化に関するグローバルな制約を強制し、進化タスクを超えて一般化するタスクに依存しないハーネスの変更を制限する。
その後、そのエージェントからの積極的な一人称フィードバックで軌道から導かれる証拠を増強し、進化のためのよりリッチな信号を生成する。
最後に、異なるハーネスコンポーネントの最適化を分離し、それらを統一ハーネスに統合し、コンポーネントの相乗効果を維持しながらコンポーネント間の干渉を減らす。
GPT-5.4で検証されたSWEベンチでは、HarnessCompassは5回の進化イテレーションでPass@1を54\%から66\%に改善し、有効性と進化効率の両方でAHEを上回っている。
さらに、進化したハーネスは保留タスクや他のモデルに効果的に転送され、以前の自動ハーネス進化法よりもはるかに強力な一般化が示される。
関連論文リスト
- Self-Evolving Memory for Generative Recommendation [100.15207958893029]
生成的レコメンデーションは、パーソナライズされたレコメンデーションのための有望なエンドツーエンドパラダイムとして登場した。
継続的再訓練や蒸留に基づく適応といった既存の進化戦略は、共有モデルパラメータを直接更新する。
本稿では,異種行動パターン間の効果的な進化を実現することを目的とした,自己進化型メモリパラダイムを提案する。
論文 参考訳（メタデータ） (2026-09-14T14:00:38Z) - ModularRSI: Modular and Generalizable Recursive Harness Self-Improvement [46.36989489677189]
我々は、一般化可能なハーネス進化のための、ベンチマーク非結合、コントラストおよびモジュラーフレームワークを提案する。
ModularRSIは、同じタスクに対する成功と失敗の軌跡を対比し、繰り返し発生する行動障害を特定するために、タスク全体で証拠を集約する。
進化可能なハーネスを,エージェントループ,ツール使用,監視管理,コンテキスト管理,タスク補完検出という,5つの機能モジュールに分解する。
論文 参考訳（メタデータ） (2026-09-14T00:10:45Z) - Co-Evolution in Agentic Systems: Toward Self-Directed Evolution Beyond Human Design [55.30329388138526]
本調査は,複数のエージェントと環境が互いに適応的な圧力を課す多成分自己進化であるエージェントシステムの共進化に焦点を当てた。
既存の論文を整理するために,システムがどのように人為的制約を徐々に覆い隠すかを追究する,進歩的な3段階分類法を提案する。
論文 参考訳（メタデータ） (2026-08-10T23:10:40Z) - SHE: Trajectory-driven Safety Harness Evolution for LLM Agents [63.74895225415523]
既存の安全メカニズムは、ハーネスを固定されたデプロイメントアーティファクトとして扱い、新興リスクで進化する能力を制限する。
我々は、ロールアウト軌道から安全な境界を進化させるフレームワークであるSafety Harness Evolutionを提案する。
Agent-SafetyBenchの実験では、SHEはハーネスの進化を通じて安全性を効果的に向上し、静的なSafeHarnessと比較して3.1倍のASR削減を実現している。
論文 参考訳（メタデータ） (2026-08-10T17:35:08Z) - Rethinking the Evaluation of Harness Evolution for Agents [83.07258924910069]
既存のハーネス進化法では、単体テストケースを使用してハーネス構成を検索し、同じ公開ベンチマークで最終的なパフォーマンスを報告している。
このプロトコルは2つの基本的な懸念を提起する。
エージェントによるテスト時間スケーリングと同様に、一致したフィードバックと推論予算の下で単純なタスクレベルの検索ベースラインと比較すべきである。
論文 参考訳（メタデータ） (2026-07-14T00:18:42Z) - HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry [35.87794858139959]
HarnessXは、構成可能、適応可能、進化可能なエージェントハーネス用のファウンダリーである。
型付きハーネスプリミティブを置換代数学で組み立て、AIGISを介して適応する。
軌道をハーネス更新とモデルトレーニング信号の両方に変換することでハーネスモデルループを閉じる。
論文 参考訳（メタデータ） (2026-06-12T08:27:11Z) - Harnessing Agentic Evolution [32.567492765277855]
エージェント進化は、プログラム、イテレーション、科学的ソリューションを改善するための強力なパラダイムであり、候補を反復的に生成し、評価し、フィードバックを使って将来の探索を導く。
既存の手法は通常、モジュラーだが剛性のある固定手設計の手順や、フィードバックを柔軟に統合する汎用エージェントとしてインスタンス化される。
AEvoはメタエージェントがこの状態を観察し、次の候補を直接提案することでではなく、将来の進化を制御するプロシージャやエージェントコンテキストを編集することによって機能する。
論文 参考訳（メタデータ） (2026-05-13T17:45:16Z) - Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses [57.20181537213498]
Agentic Harness Engineering (AHE)は、ハーネスエンジニアリングを自動化するクローズドループである。
AHEは3つの一致した可観測性柱を通じて課題に対処する。
10 AHE lift pass@1 on Terminal-Bench 2 from 69.7% to 77.0%。
SWE-bench-verifiedでは、種子よりも12%少ないトークンで合計成功率を上回り、ターミナルベンチ2では+5.1から+10.1ppのクロスファミリーゲインを得る。
論文 参考訳（メタデータ） (2026-04-28T16:55:02Z) - Co-Evolutionary Multi-Modal Alignment via Structured Adversarial Evolution [8.28457465201508]
我々は、静的な敵の監視を超えて、進化する攻撃と共進化的アライメントを導入する。
本稿では,敵対的プロンプトをメソッドテンプレートや有害な意図に分解する進化的攻撃手法を提案する。
Adaptive Defenderは、合成されたハードネガティブに対して反復的に更新され、進化する攻撃に適応するクローズドループプロセスを形成する。
論文 参考訳（メタデータ） (2026-03-02T12:10:46Z) - A Simple yet Effective DDG Predictor is An Unsupervised Antibody Optimizer and Explainer [53.85265022754878]
高速な突然変異スクリーニングのための軽量DDG予測器(Light-DDG)を提案する。
また、Light-DDGを事前学習するための数百万の突然変異データを含む大規模データセットもリリースした。
対象抗体について,変異選好を学習するための新しい変異説明器を提案する。
論文 参考訳（メタデータ） (2025-02-10T09:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。