論文の概要: Adapting Video Models for Robot Control via Motion-guided Asymmetric Prediction

• arxiv url: http://arxiv.org/abs/2610.36624v2
• Date: Sun, 01 Nov 2026 04:25:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 02:41:44.907338
• Title: Adapting Video Models for Robot Control via Motion-guided Asymmetric Prediction
• Title（参考訳）: 運動誘導型非対称予測によるロボット制御のための映像モデルの適用
• Abstract要約: World Action Models (WAM) は、ロボット制御のための事前訓練されたビデオ生成モデルを利用して、将来の視覚的な観察とアクションを共同で予測する。 動作中心の視覚予測によるWAMトレーニングを増強する動き誘導非対称予測(MoGAP)を導入する。
• 参考スコア（独自算出の注目度）: 49.29680220771445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World Action Models (WAMs) leverage pretrained video generative models for robotic control by jointly predicting future visual observations and actions. The visual prediction objective plays a key role in adapting pretrained video representations to the target robot domain. Yet standard visual prediction inherited from video pretraining treats all visual regions uniformly, despite their differing relevance to robotic control. We therefore investigate the spatial allocation of visual supervision in WAMs and show that focusing supervision on dynamic regions can substantially improve policy performance. Building on this finding, we introduce Motion-Guided Asymmetric Prediction (MoGAP), which augments WAM training with motion-focused visual prediction. MoGAP allocates noise asymmetrically across regions, training the model to reconstruct more heavily corrupted dynamic regions using less corrupted static regions as context. MoGAP is trained alongside standard video-action prediction through a training-only auxiliary prediction path within the shared video diffusion backbone. It uses motion cues derived directly from training videos, requiring neither an external teacher nor additional modalities. Across robot manipulation benchmarks and WAM architectures, MoGAP consistently improves policy performance, increasing success rates on the GR-1 tabletop benchmark from 38.8% to 47.5% for Fast-WAM (Wan2.2-5B) and from 52.3% to 62.3% for Cosmos3-Nano.
• Abstract（参考訳）: World Action Models (WAM) は、ロボット制御のための事前訓練されたビデオ生成モデルを利用して、将来の視覚的な観察とアクションを共同で予測する。 視覚予測目的は、予め訓練された映像表現を対象ロボット領域に適応させる上で重要な役割を果たす。 しかし、ビデオプレトレーニングから受け継いだ標準的な視覚予測は、ロボット制御に異なる関連性があるにもかかわらず、すべての視覚領域を均一に扱う。 そこで我々は,WAMにおける視覚的監督の空間的割り当てについて検討し,動的領域に対する監督の集中が政策性能を大幅に向上させることを示す。 そこで本研究では,動き誘導型非対称予測(MoGAP)を導入し,動き中心の視覚的予測によるWAMトレーニングを強化した。 MoGAPは、非対称に非対称にノイズを割り当て、劣化の少ない静的な領域をコンテキストとして、より過度に破損した動的領域を再構築するようモデルを訓練する。 MoGAPは、共有ビデオ拡散バックボーン内のトレーニング専用補助予測パスを通じて、標準的なビデオアクション予測と共に訓練される。 トレーニングビデオから直接派生したモーションキューを使用し、外部の教師も追加のモダリティも必要としない。 ロボット操作ベンチマークとWAMアーキテクチャ全体を通じて、MoGAPはポリシー性能を一貫して改善し、GR-1のテーブルトップベンチマークは38.8%から47.5%に、Fast-WAM(Wan2.2-5B)は52.3%から62.3%に向上した。

関連論文リスト

• Learning Transferable World-Action Models from Task-Paired Human Videos [50.531254998484606]
  タスクペアの人間による実演から学ぶクロスビデオ事前学習であるWATCHを紹介する。 我々の事前学習は、これらの能力が容易にスケーラブルな人間と人間のペアから学習できることを示しています。 ロボットのポストトレーニング前の分析では、エボディメント間の動きのアライメントが改善され、見えないロボットに対するアクションとビデオの予測が改善された。
  論文  参考訳（メタデータ） (2026-10-09T21:56:03Z)
• Spatially Aware World Action Model via Geometric Latent Diffusion [42.13843953705695]
  World Action Models (WAM) は、大規模な事前訓練されたビデオ拡散モデルの能力を活用して、将来の観測とアクションを共同で予測する。 本研究では,共同行動,RGB,深度予測のための事前学習ビデオモデルを再利用した空間認識世界行動モデル(SA-WAM)を提案する。 SA-WAM はRoboCasa と LIBERO-Plus のベンチマークで最先端の結果を達成し、同時に将来の予測を改善する。
  論文  参考訳（メタデータ） (2026-09-02T12:42:37Z)
• Disentangled Robot Learning via Separate Forward and Inverse Dynamics Pretraining [28.30092786035367]
  DeFIはビジュアルフォワードと逆ダイナミクスを分離し、各データソースを利用するための新しいフレームワークである。 今後の予測のために,多種多様な人・ロボットビデオで事前訓練された一般フォワード・ダイナミクス・モデル(GFDM)と,ラベルなしビデオ遷移から潜伏行動を予測するための自己教師付き学習によって訓練された一般逆ダイナミクス・モデル(GIDM)を紹介する。 CALVIN ABC-D と SimplerEnv の実験では、DeFI は CALVIN の平均タスク長 4.51 に達し、SimplerEnv-Frac は 51.2% 成功した。
  論文  参考訳（メタデータ） (2026-03-27T17:20:10Z)
• GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
  GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。 実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
  論文  参考訳（メタデータ） (2026-03-18T00:52:02Z)
• Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
  我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。 PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。 ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
  論文  参考訳（メタデータ） (2025-08-13T13:54:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。