論文の概要: Harness Policy Distillation: Aligning Agent Policies with Runtime Semantics

• arxiv url: http://arxiv.org/abs/2610.20261v1
• Date: Wed, 14 Oct 2026 14:28:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.203375
• Title: Harness Policy Distillation: Aligning Agent Policies with Runtime Semantics
• Title（参考訳）: Harness Policy Distillation: 実行時セマンティクスによるエージェントポリシーの調整
• Abstract要約: 本稿では,実行時制御のセマンティクスを明示的なトレーニングターゲットとするHarness Policy Distillation(HPD)を紹介する。 HPDはハーネスを通じて参照トラジェクトリを再生し、通常のトラジェクトリデータに暗黙的な実行時セマンティクスを復元する。 制御状態の特権情報とネイティブ履歴から回復したランタイムセマンティクス上で共有モデルを共同でトレーニングする。
• 参考スコア（独自算出の注目度）: 23.557259298050372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deploying a general-purpose model as an agent means running it inside a product-specific runtime harness that decides which actions are executable, how state advances, and when the loop may terminate. Ordinary trajectory supervision shows which action was taken but leaves the runtime semantics behind that action implicit. We introduce Harness Policy Distillation (HPD), which makes these runtime control semantics an explicit training target alongside actions to align the harness policy. HPD replays reference trajectories through the harness to recover the runtime semantics that are implicit in ordinary trajectory data, and represents them as control documents at each model-call boundary. These documents provide privileged information for a teacher to generate actions, while harness verification ensures that the resulting targets are executable under the runtime contract. We jointly train a shared model on the runtime semantics recovered from control-state privileged information and native history, thereby internalizing these semantics into the model policy. At deployment, the trained model uses the original harness interface without requiring the control document or any additional supplement. On TRAJECT-Bench with the Pi harness, Qwen3-8B trained with HPD reaches 22.98% autonomous task success and 49.23% runtime compliance, against 3.09% and 19.90% for the unadapted model. Harness-verified teacher actions substantially improve the native deployment policy, while joint control-state supervision provides further gains in task completion and runtime compliance. HPD turns executable runtime semantics into dense supervision for learning harness-compatible actions at each decision boundary.
• Abstract（参考訳）: 汎用モデルをエージェントとしてデプロイすることは、どのアクションが実行可能か、状態がどのように進行し、ループが終了するかを決定する製品固有のランタイムハーネス内で実行することを意味する。 通常の軌道監視は、どのアクションが取られたかを示すが、そのアクションの背後にある実行時セマンティクスを暗黙に残す。 本稿では,Harness Policy Distillation (HPD)を導入し,これらの実行時制御セマンティクスを明示的なトレーニングターゲットとし,ハーネスポリシーの整合を図る。 HPDはハーネスを通じて参照トラジェクトリを再生し、通常のトラジェクトリデータに暗黙的な実行時セマンティクスを復元し、各モデルコール境界における制御ドキュメントとして表現する。 これらの文書は、教師がアクションを生成するための特権情報を提供し、一方、有効性検証は、結果のターゲットが実行時コントラクトの下で実行可能であることを保証します。 我々は、制御状態の特権情報とネイティブ履歴から回復した実行時セマンティクスの共有モデルを共同でトレーニングし、これらのセマンティクスをモデルポリシーに内部化する。 デプロイメントでは、トレーニングされたモデルは、コントロールドキュメントや追加のサプリメントを必要とせずに、元のハーネスインターフェースを使用する。 Piハーネスを搭載したTRAJECT-Benchでは、HPDで訓練されたQwen3-8Bが22.98%の自律的なタスク成功と49.23%のランタイムコンプライアンスを達成した。 ハーネスを検証した教師の行動は、ネイティブデプロイメントポリシーを大幅に改善する一方、共同制御状態の監督は、タスクの完了と実行時のコンプライアンスをさらに向上させる。 HPDは実行時セマンティクスを、各決定境界におけるハーネス互換のアクションを学習するための厳密な監視に変換する。

関連論文リスト

• AutoAgent0: An Agentic Runtime for Safe Closed-Loop Driving [61.924851163300076]
  エージェントランタイムとハーネスフレームワークであるAutoAgent0を導入し、既存の運転専門家に補完的な検出スキル、ルールベースのアクション検証、フィードバック駆動リカバリを付加する。 長距離および安全クリティカルシナリオにおけるシングルエキスパート実行に対する閉ループロバスト性の向上を実証した。
  論文  参考訳（メタデータ） (2026-10-13T17:59:50Z)
• CoTrace: Data Recipes for Training Terminal Agents with Harness-Model Co-Evolution [68.76788820731048]
  CoTraceは、トラジェクトリルーティング、プロファイランスマッチング、リフレッシュを管理するハーネス対応のデータレシピである。 コンパクトなハーネス整合コーパスは、兄弟ハーネスにまたがるより大きなコーパスよりも、かなり低い計算で安定したモデルゲインを生成することを示す。
  論文  参考訳（メタデータ） (2026-10-07T17:06:59Z)
• PerturBot: Breaking Shortcut Priors in Vision-Language-Action Models with Perturbative Training [54.81497176604651]
  視覚-言語-アクション(VLA)ポリシーは、その行動を決定する証拠を無視しながら、複雑なタスクを完了することができる。 私たちはこれらの依存関係をモダリティショートカット(Modality shortcuts)と呼んでいる: 成功例の正規性は、専門家の行動を予測するのに十分な視覚的、語彙的、あるいは運動的手がかりを生み出す。 本稿では,タスク関連エビデンスをより使いやすくし,自分でもショートカットが不十分なPerturbotを提案する。
  論文  参考訳（メタデータ） (2026-10-03T15:57:51Z)
• ActGov: Governing LLM Agent Actions via Policy-Constrained Validation [15.482980599813942]
  ActGovは、外部効果を引き起こす前に、各ツールアクションを検証するランタイム実行フレームワークである。 ActGov-Policyコンポーネントは、認証、アクション、ランタイムコンテキスト、セキュリティ制約の統一的なセマンティックモデルに基づいて、ツール仕様から設定されたポリシーを反復的に構築する。 ActGov on the AgentDojoとAgentDynベンチマークを複数のモデルとアタック設定で評価する。
  論文  参考訳（メタデータ） (2026-09-21T11:47:09Z)
• From State to Action: OODA-Tool for Reliable Multi-Turn Tool Use [12.466318496864742]
  本稿では,国家行動競争を緩和するためのクローズドループ方式であるOODA-Toolを紹介する。 OODA-Toolは、コントローラがチェックした中間状態を通じて各決定をルーティングし、最終的な出力が現在のタスク状態に残されていることを保証します。 我々は,マルチターン,マルチツール,不完全情報設定にまたがるQwen3モデルを用いて,直接関数呼び出しとReActポリシーに対するOODAツールの評価を行った。
  論文  参考訳（メタデータ） (2026-08-25T10:27:25Z)
• EvoHarness-RL: Learning Self-Evolving Runtime Harness for Long-Horizon LLM Agents [103.43357674316316]
  長期のLDMエージェントは、状態の維持、進捗の追跡、ツールの呼び出し、結果の検証、インタラクション間のエクスペリエンスの再利用など、外部実行のサポートにますます依存している。 効果的なハーネス利用は、ノイズの多い相互作用トレースからの状態形成と、外部状態アクセスの制御という2つの課題を提起する。 本稿では,BPE(Breief Progress, and Experience)を政策対応型ハーネス状態として公開するEvoHarness-RLを紹介する。改良されたハーネスファインタニングは,基本エージェントにハーネスアクション空間と有用な外部状態の構築方法を教える一方で,コスト意識のGRPOは,長期的相互作用の間,その状態を選択的に読み,更新し,統合するコーディネーションポリシーを探求する。
  論文  参考訳（メタデータ） (2026-08-05T22:29:20Z)
• PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
  我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。 セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。 SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。 ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
  論文  参考訳（メタデータ） (2026-07-18T04:46:53Z)
• Proof-Carrying Agent Actions: Model-Agnostic Runtime Governance for Heterogeneous Agent Systems [0.6526824510982799]
  本稿では,アクション証明書を中心としたランタイム中立ガバナンスモデルであるProof-Carrying Agent Actions (PCAA)を提案する。 PCAAは5つのチェックポイント(事前行動の許容、行動のオープン、仮定のキャプチャ、承認、結果のクロージャ)を統括する。 異種エージェント制御プレーンと開示バウンダリ評価プロトコルの参照実装を用いてモデルについて検討する。
  論文  参考訳（メタデータ） (2026-06-02T18:10:35Z)
• Let Offline RL Flow: Training Conservative Agents in the Latent Space of Normalizing Flows [58.762959061522736]
  オフライン強化学習は、追加の環境相互作用なしに、事前に記録された、固定されたデータセット上でポリシーをトレーニングすることを目的としている。 我々は、最近、潜在行動空間における学習ポリシーを基礎として、生成モデルの構築に正規化フローの特別な形式を用いる。 提案手法が最近提案したアルゴリズムより優れていることを示すため,様々な移動タスクとナビゲーションタスクについて評価を行った。
  論文  参考訳（メタデータ） (2022-11-20T21:57:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。