論文の概要: WAM-OPD: Sharpening World Action Models via On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.34250v1
• Date: Mon, 28 Sep 2026 03:56:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 22:31:55.892113
• Title: WAM-OPD: Sharpening World Action Models via On-Policy Distillation
• Title（参考訳）: WAM-OPD: オンライン蒸留による世界行動モデルの改善
• Abstract要約: 事前訓練された世界行動モデル(WAM)は、多様なロボット操作タスクにまたがる汎用機能を提供する。 WAMのオンライン蒸留(OPD)とWAM-OPDの導入について検討する。 We show WAM-OPD improves target-task performance while maintaining near-itial performance on tasks excludeed by adapt。
• 参考スコア（独自算出の注目度）: 84.1328443874472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained world action models (WAMs) provide generalist capabilities across diverse robotic manipulation tasks, yet improving target-task performance to an expert level without degrading pretrained skills remains challenging. We explore on-policy distillation (OPD) for WAMs and introduce WAM-OPD. WAM-OPD inherits the advantage of OPD methods that transfer task-specific teacher knowledge under the student's own induced distribution, rather than directly fitting the student to a narrow task-specific data distribution. However, in closed-loop manipulation, the observation histories change as the student policy evolves, requiring fresh environment rollouts to remain on-policy. Applying OPD to WAMs entails repeated data collection, which is costly even in simulation and often impractical on real robots. To avoid repeated environment rollouts during distillation, we introduce prefix-weighted trajectory replay (PWTR). PWTR uses a fixed trajectory pool composed primarily of initial-student rollouts, supplemented with task-specific teacher rollouts to broaden trajectory coverage. For each trajectory replayed from this pool, PWTR conditions the current policy on successive stored histories to generate fresh denoising paths, along which the task-specific teacher provides supervision. Although these denoising paths are refreshed as the policy evolves, the replayed environment trajectories remain fixed. PWTR therefore reweights per-decision distillation losses using proxy importance weights derived from path scores accumulated over the trajectory prefix preceding each decision to mitigate the resulting shift in the history distribution. Simulated and real-world experiments demonstrate task adaptation without additional environment interaction during distillation. In both settings, WAM-OPD improves target-task performance while retaining near-initial performance on tasks excluded from adaptation.
• Abstract（参考訳）: 事前訓練された世界行動モデル(WAM)は、多様なロボット操作タスクにまたがる汎用機能を提供するが、事前訓練されたスキルを劣化させることなく、目標タスクのパフォーマンスを専門家レベルまで改善することは困難である。 WAMのオンライン蒸留(OPD)とWAM-OPDの導入について検討する。 WAM-OPDは、生徒を狭いタスク固有のデータ分布に直接適合させるのではなく、生徒自身の帰納的分布の下でタスク固有の教師の知識を伝達するOPD手法の利点を継承する。 しかし、クローズドループ操作では、学生政策の進展に伴って観察履歴が変化し、新しい環境のロールアウトが政治に残る必要がある。 OPDをWAMに適用するには、繰り返しのデータ収集が必要である。 蒸留時に繰り返し発生する環境のロールアウトを避けるため,プレフィックス重み付き軌道再生(PWTR)を導入する。 PWTRは、主に初期学生向けロールアウトで構成された固定軌道プールを使用し、タスク固有の教師向けロールアウトを補足して軌道範囲を広げている。 このプールから再生された各軌道に対して、PWTRは、連続した記憶された歴史に関する現在のポリシーを条件付け、タスク固有の教師が監督する新しい認知的パスを生成する。 ポリシーが進化するにつれて、これらのデノベーションパスはリフレッシュされるが、再生された環境軌道は依然として固定されている。 したがって、PWTRは、各決定に先立って軌跡プレフィックス上に蓄積された経路スコアから得られるプロキシ重要度を用いて、決定毎の蒸留損失を再重み付けし、その結果の履歴分布の変化を緩和する。 シミュレーションおよび実世界の実験は、蒸留中に追加の環境相互作用を伴わないタスク適応を示す。 どちらの設定でも、WAM-OPDは、適応から除外されたタスクのほぼ初期性能を維持しながら、ターゲットタスクのパフォーマンスを改善している。

関連論文リスト

• DreOPD: Degraded-Reference Extrapolative On-Policy Distillation for Flow-matching Models [11.299607850340607]
  DreOPDは、フローマッチングモデルのための分解参照補間OPD法である。 DreOPD は OPD とマルチタスク RL のベースラインを平均性能で上回ることを示す。
  論文  参考訳（メタデータ） (2026-08-10T07:55:57Z)
• Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
  エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。 ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。 OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
  論文  参考訳（メタデータ） (2026-07-06T07:56:53Z)
• SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation [25.25989941933095]
  マルチターンOPD用に設計された検証不要な選択的介入フレームワークであるSAGE-OPDを提案する。 SAGE-OPDは、教師の監督を全ターンで均一に行うのではなく、まず環境フィードバックを観察し、各生徒の反応をスキップするか介入するかを決定するために教師の判断を使用する。 エージェントタスクの実験では、SAGE-OPDはベースラインよりも一貫して改善され、ALFWorldの13.3%の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-06-17T23:58:14Z)
• Referring-Aware Visuomotor Policy Learning for Closed-Loop Manipulation [91.20850436220267]
  Referring-Aware Visuomotor Policy(ReV)について紹介する。 ReVは、人間または高レベルの推論プランナーによって提供されるスパース参照ポイントを組み込む。 これは、専門家のデモンストレーションにターゲットの摂動を適用することでのみ訓練される。
  論文  参考訳（メタデータ） (2026-04-07T07:41:11Z)
• TD-JEPA: Latent-predictive Representations for Zero-Shot Reinforcement Learning [63.73629127832652]
  本稿では,TDに基づく潜在予測表現を教師なしRLに活用するTD-JEPAを紹介する。 TD-JEPAは、明示的な状態とタスクエンコーダ、ポリシー条件付きマルチステップ予測器、パラメータ化されたポリシーのセットを潜時空間で直接訓練する。 実証的には、TD-JEPAは13のデータセットにわたる移動、ナビゲーション、操作のタスクにおいて、最先端のベースラインをマッチまたは上回る。
  論文  参考訳（メタデータ） (2025-10-01T10:21:18Z)
• Zero-Shot Whole-Body Humanoid Control via Behavioral Foundation Models [71.34520793462069]
  教師なし強化学習(RL)は、複雑な環境下で幅広い下流タスクを解くことができる事前学習エージェントを目標としている。 本稿では,ラベルのない行動データセットからトラジェクトリを模倣するための,教師なしRLの正規化アルゴリズムを提案する。 我々は,この手法の有効性を,挑戦的なヒューマノイド制御問題において実証する。
  論文  参考訳（メタデータ） (2025-04-15T10:41:11Z)
• Fast Adaptation with Behavioral Foundation Models [82.34700481726951]
  教師なしゼロショット強化学習は、行動基礎モデルの事前学習のための強力なパラダイムとして登場した。 有望な結果にもかかわらず、ゼロショットポリシーは、教師なしのトレーニングプロセスによって引き起こされるエラーにより、しばしば準最適である。 本稿では,事前訓練されたBFMの低次元タスク埋め込み空間を探索し,ゼロショットポリシーの性能を急速に向上させる高速適応手法を提案する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。