論文の概要: Your Policy Is Secretly a Harness: The Decision Geometry of Agent Interfaces
- arxiv url: http://arxiv.org/abs/2610.37255v2
- Date: Wed, 28 Oct 2026 05:58:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-30 22:39:27.525831
- Title: Your Policy Is Secretly a Harness: The Decision Geometry of Agent Interfaces
- Title（参考訳）: あなたの政策は秘密裏に有害:エージェントインターフェースの意思決定幾何学
- Abstract要約: 我々は、ポリシーがハーネスから何を学ぶのか、ハーネスが変わったときに何が生き残るのかを尋ねる。
最適ポリシーのログの確率は、そのハーネスが他よりもそれぞれのアクションを強く好んでいることを示す。
MiniWoB++では、ポストトレーニングはモデルの好みをトレーニングハーネスに特化させる。
- 参考スコア（独自算出の注目度）: 11.539708466125639
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language model agents are post-trained and deployed through a harness, the prompts, tools, and control logic that present a task to the model and execute its outputs. Harnesses are often revised and judged by how an already trained model performs under them, which assumes that what the model learned under one harness carries over to the next. We ask what a policy learns from its harness and what survives when the harness changes. Under KL-regularized control, we show that the log odds of an optimal policy recover how strongly its harness favors each action over the others, so a trained policy carries the preferences of its harness. Deployed return then equals the ceiling of the harness, the best return it offers, minus the mismatch of the policy, the return lost to its own suboptimal decisions. Training changes only the mismatch, while changing the harness moves both terms. Comparing harnesses with a fixed model therefore mixes what each harness offers with how well that model uses it. In MiniWoB++, post-training makes a model's preferences specific to its training harness. Reversing the order of the observation fields leaves every optimal decision unchanged yet lowers a trained model's success from 85.0% to 19.2%. Conversely, every new harness that a fixed-model comparison rejects but that raises the ceiling outperforms the original agent after further training under it, and ceiling and mismatch measured beforehand predict these gains. For coding-agent harnesses on Terminal-Bench Lite, ceiling minus mismatch estimated with a stronger model as a stand-in for the optimum reproduces the accuracy ranking, while either term alone does not. Code is available at https://github.com/2020-qqtcg/HRP.
- Abstract（参考訳）: 言語モデルエージェントは、ハーネス、プロンプト、ツール、そしてモデルにタスクを示し、その出力を実行する制御ロジックを通じて、後からトレーニングされ、デプロイされる。
ハーネスはしばしば、訓練済みのモデルがその下でどのように機能するかによって修正され、判断される。
我々は、ポリシーがハーネスから何を学ぶのか、ハーネスが変わったときに何が生き残るのかを尋ねる。
KL-正規化制御の下では、最適ポリシーのログオッズにより、ハーネスが他のハーネスよりもそれぞれのアクションを強く好んでいることが示され、訓練されたポリシーがハーネスの選好を担っている。
デプロイされたリターンは、ハーネスの天井と同等であり、それが提供する最高のリターンであり、ポリシーのミスマッチを減らし、リターンが自身の最適下決定に失われる。
トレーニングの変更はミスマッチのみであり、ハーネスの変更は両方の用語を移動させる。
したがって、ハーネスを固定モデルと比較すると、各ハーネスが提供するものと、そのモデルがどれくらいうまく使用しているかが混ざり合っている。
MiniWoB++では、ポストトレーニングはモデルの好みをトレーニングハーネスに特化させる。
観測場の順序を逆転させると、最適な決定は変わらないが、訓練されたモデルの成功率は85.0%から19.2%に低下する。
逆に、固定モデル比較が拒絶するが、天井を上昇させる新しいハーネスは、さらなる訓練の後、元のエージェントよりも優れ、事前に測定された天井とミスマッチは、これらの利得を予測する。
Terminal-Bench Lite上の符号化エージェントハーネスでは、最適値のスタンドインとしてより強いモデルで推定される天井ミスマッチが精度ランキングを再現するが、どちらの用語も一致しない。
コードはhttps://github.com/2020-qqtcg/HRP.comで入手できる。
関連論文リスト
- Self-Evolving Coding Agents via Harness-Policy Optimization [59.77935668723671]
Self-HPOは、ハーネスとポリシー最適化を代替するコーディングエージェントのための自己改善フレームワークである。
3つのコーディングベンチマークで、Self-HPOはハーネスのみとポリシーのみのベースラインを一貫して上回っている。
Self-HPOはまた、信頼性(Pass@1)を改善し、ベースエージェント上の機能フロンティア(Pass@k)を拡張する。
論文 参考訳（メタデータ） (2026-10-16T01:07:52Z) - CoTrace: Data Recipes for Training Terminal Agents with Harness-Model Co-Evolution [68.76788820731048]
CoTraceは、トラジェクトリルーティング、プロファイランスマッチング、リフレッシュを管理するハーネス対応のデータレシピである。
コンパクトなハーネス整合コーパスは、兄弟ハーネスにまたがるより大きなコーパスよりも、かなり低い計算で安定したモデルゲインを生成することを示す。
論文 参考訳（メタデータ） (2026-10-07T17:06:59Z) - Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。
これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
論文 参考訳（メタデータ） (2026-09-26T21:56:26Z) - Harness-Zero: Harness Distillation via Agent-as-Harness [25.405498734061165]
Harness-Zeroは、エージェント・アズ・ハーネスによる蒸留を可能にする。
結果として生じる軌道の微調整は、ハーネスによって引き起こされる振る舞いをモデルに内在させる。
論文 参考訳（メタデータ） (2026-09-21T17:55:20Z) - Co-Evolving Harnesses and Models: On-Policy Correction Helps Weaker Models Catch Up Where Imitation Fails [23.287109132562403]
自動化されたハーネス進化により、より小さなモデルは、フロンティアモデルコストのごく一部で、ドメイン固有のタスクでうまく機能することができる。
模倣は知識を伝達し,足場の使用量を増加させるが,モデルハーネスの適合性を阻害することを示す。
我々は、メタレベルのMLEエージェントによって自動化され、弱いモデル自身のロールアウトにおいて失敗するターンをローカライズし、専門家にそのターンのみを書き直すよう依頼する、オンデマンドの専門家補正パイプラインを開発する。
論文 参考訳（メタデータ） (2026-09-08T17:53:49Z) - CHART: A Harness-Rotation Curriculum for Harness-Robust Search Agents [16.641243882855136]
我々は,検索効率と性能の両方を改善するために,並列検索を行うために,探索エージェントを訓練する。
固定ハーネス下でのトレーニングは、そのハーネスの表面形状に過度に適合する行動ハーネスを局所的にする。
本稿では,探索エージェントが徐々に並列検索を統合できる回転カリキュラムであるCurriculum HArness Rotation Training (CHART)を提案する。
論文 参考訳（メタデータ） (2026-09-05T19:12:15Z) - WHALE: A Simple Recipe for Joint Harness-Weight Optimization [48.550149284101536]
WHALE(Weight-Harness Alternating LEarning)は、2つのフェーズを切り替えるレシピである。
3つの領域にわたるQwen3.5-2B/4Bエージェント(質問応答、数学的推論、チェスパズル)を使用して、WHALEは重量のみ、ハーネスのみ、Fast-Slow Trainingの4.15-24.38ポイントを最高の平均@8の精度で上回る。
論文 参考訳（メタデータ） (2026-08-31T18:12:55Z) - Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents [82.27610290890475]
i) ハーネス更新、(i) 実行証拠から有用な永続的ハーネス更新を生成する能力、(ii) ハーネスベネフィット、タスク解決時に更新されたハーネスの恩恵を受ける能力の2つのハーネス自己進化能力を分析した。
まず、ハーネス更新は基本能力において平坦である:異なる能力階層のモデルがハーネス更新を生成し、驚くほど類似したゲインをもたらす。
第二に、ハーネスベネフィットは基本能力において単調ではない:弱い層モデルは更新されたハーネスからほとんど恩恵を受けず、中層モデルは最も恩恵を受け、強い層モデルは中層より利益が低い。
論文 参考訳（メタデータ） (2026-05-28T22:16:14Z) - Mismatched No More: Joint Model-Policy Optimization for Model-Based RL [172.37829823752364]
本稿では,モデルとポリシーを共同でトレーニングする単一目的について提案する。
我々の目標は、期待されるリターンのグローバルな低い境界であり、この境界は特定の仮定の下で厳密になる。
結果のアルゴリズム(MnM)は概念的にはGANと似ている。
論文 参考訳（メタデータ） (2021-10-06T13:43:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。