論文の概要: Learning Transferable Dynamics Priors from Action to World Modeling

• arxiv url: http://arxiv.org/abs/2606.29501v1
• Date: Sun, 28 Jun 2026 17:01:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.943725
• Title: Learning Transferable Dynamics Priors from Action to World Modeling
• Title（参考訳）: 伝達可能なダイナミクスの学習 : 行動から世界モデリングへ
• Abstract要約: 本研究では,ロボット学習のための移動可能なダイナミクスを学習するスケーラブルな方法として,行動条件付き世界モデリングについて検討する。 アクションがどのように視覚的なシーンの進化を駆動するかを予測するためのモデルを事前訓練することにより、結果の世界モデルは、外観レベルのビデオ生成を超えた再利用可能なインタラクションのダイナミクスをキャプチャする。 シミュレーションベンチマークと実ロボット設定による実験は、アクション条件付きワールドモデル事前学習が転送可能なダイナミクスを先行することを示す。
• 参考スコア（独自算出の注目度）: 22.976971391971617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study action-conditioned world modeling as a scalable way to learn transferable dynamics priors for robot learning. By pretraining a model to predict how actions drive visual scene evolution, the resulting world model captures reusable interaction dynamics beyond appearance-level video generation. Concretely, we pretrain a multi-view interactive base diffusion world model, A2World, on large-scale robot manipulation data with real action annotations. We validate the learned dynamics priors from two complementary perspectives. First, we adapt A2World into a task- or scene-specialized real-world simulator, A2World-sim, whose long-horizon rollouts support simulator-based policy evaluation and scalable what-if analysis by replacing real-robot rollouts with world model rollouts. Second, starting from the same pretrained weights, we adapt A2World into a video-action joint prediction model, A2World-policy, that predicts actions under visual and instruction conditioning. Experiments across simulation benchmarks and real-robot settings demonstrate that action-conditioned world model pretraining yields transferable dynamics priors that benefit both simulator-centric and policy-centric robot learning.
• Abstract（参考訳）: 本研究では,ロボット学習のための移動可能なダイナミクスを学習するスケーラブルな方法として,行動条件付き世界モデリングについて検討する。 アクションがどのように視覚的なシーンの進化を駆動するかを予測するためのモデルを事前訓練することにより、結果の世界モデルは、外観レベルのビデオ生成を超えた再利用可能なインタラクションのダイナミクスをキャプチャする。 具体的には,実動作アノテーションを用いた大規模ロボット操作データに対して,多視点対話型ベース拡散世界モデルA2Worldを事前学習する。 2つの相補的な視点から学習されたダイナミクスの先行性を検証する。 まず,A2Worldをタスクやシーンに特化された実世界のシミュレータA2World-simに適合させ,その長期ロールアウトはシミュレータベースのポリシー評価と,実ロボットロールアウトをワールドモデルロールアウトに置き換えることによるスケーラブルなWhat-if解析をサポートする。 第二に、事前訓練された重みから始め、視覚的および指示的条件下での行動を予測するビデオアクション共同予測モデルであるA2World-policyにA2Worldを適応させる。 シミュレーションベンチマークと実ロボット設定による実験は、アクション条件付きワールドモデル事前訓練が、シミュレータ中心とポリシー中心のロボット学習の両方に利益をもたらす、転送可能なダイナミクスを先取りすることを示した。

関連論文リスト

• XPACE: Joint World and Action Modeling from Heterogeneous Experience [49.17824968489423]
  汎用ロボットは、多様な経験を生かし、アクションを選択し、それらのアクションがどのように世界を変えるかを予測する必要がある。 我々は,ワールドアクションモデルとシミュレータの両方を兼ね備えた,統一型世界モデルであるXPACEを紹介する。 ポリシーとシミュレーター間のビデオバックボーンを共有することで、視覚力学とアクションラベル付き人間とロボットのデモを学ぶためにアクションラベル付きビデオを使用する。
  論文  参考訳（メタデータ） (2026-09-15T16:07:34Z)
• LD4WAM: Learning Latent Dynamics from Human Videos for World Action Models [14.629670168049984]
  本稿では,映像のブリッジ前処理と低レベル動作の具体的表現として,動作整列潜時ダイナミクスを提案する。 意味再構成と実動作アライメントを訓練した潜在ダイナミクスモデルと、変換器の混合として構築されたワールドダイナミクスアクションモデル(MoT)を組み合わせたLD4WAMを提案する。 LD4WAMは、5000時間以上の人間とロボットのデータの統合データセットに基づいて、RoboTwinシミュレーションや、グリッパーと器用な両手を備えた本物のロボット上で、強力に動作します。
  論文  参考訳（メタデータ） (2026-08-23T13:09:30Z)
• Native Video-Action Pretraining for Generalizable Robot Control [77.59831077077176]
  LingBot-VA 2.0は、エンボディメントのためにゼロから構築されたビデオアクション基盤モデルである。 高周波推論の要求を満たすため,本モデルは疎いMOEバックボーンを用いる。 現実のデプロイメントは、堅牢な基盤モデルとしてLingBot-VA 2.0を検証する。
  論文  参考訳（メタデータ） (2026-07-09T16:15:43Z)
• GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
  GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。 実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
  論文  参考訳（メタデータ） (2026-03-18T00:52:02Z)
• Causal World Modeling for Robot Control [56.31803788587547]
  ビデオワールドモデルは、アクションと視覚力学の因果関係を理解することによって、近い将来に想像できる能力を提供する。 本稿では,フレーム予測とポリシ実行を同時に学習する自動回帰拡散フレームワークLingBot-VAを紹介する。 シミュレーションベンチマークと実世界のシナリオの両方でモデルを評価したところ、長距離操作、ポストトレーニングにおけるデータ効率、新しい構成への強力な一般化性などに大きな可能性を示唆している。
  論文  参考訳（メタデータ） (2026-01-29T17:07:43Z)
• DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation [52.136378691610524]
  本稿では、3次元認識と動的インフォームド三面体特徴を学習する表現学習フレームワークDynaRendを紹介する。 マルチビューRGB-Dビデオデータに基づく事前トレーニングにより、DynaRendは空間幾何学、将来のダイナミクス、タスク意味を統合された三面体表現で共同でキャプチャする。 我々は、RLBenchとColosseumという2つの挑戦的なベンチマークでDynaRendを評価し、政策成功率、環境摂動の一般化、様々な操作タスクにおける実世界の適用性などを大幅に改善した。
  論文  参考訳（メタデータ） (2025-10-28T10:17:11Z)
• AMPLIFY: Actionless Motion Priors for Robot Learning from Videos [29.799207502031496]
  AMPLIFYは,大規模ビデオデータを活用する新しいフレームワークである。 我々は、豊富なアクションフリービデオでフォワードダイナミクスモデルを訓練し、限られたアクションラベル付き例で逆ダイナミクスモデルを訓練する。 下流の政策学習において、我々のダイナミクス予測は、低データのレシエーションにおいて1.2-2.2倍の改善を実現し、アクションフリーなヒューマンビデオから学ぶことで平均1.4倍の改善を実現し、非配布アクションデータからLIBEROタスクへの第1次一般化を可能にした。
  論文  参考訳（メタデータ） (2025-06-17T05:31:42Z)
• Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
  本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。 条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。 実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
  論文  参考訳（メタデータ） (2025-02-10T14:49:09Z)
• IRASim: A Fine-Grained World Model for Robot Manipulation [24.591694756757278]
  本稿では,ロボットとオブジェクトのインタラクションの詳細を詳細に表現したビデオを生成する新しい世界モデルIRASimを提案する。 拡散変圧器を訓練し、各変圧器ブロック内に新しいフレームレベル動作条件モジュールを導入し、アクションフレームアライメントを明示的にモデル化し強化する。
  論文  参考訳（メタデータ） (2024-06-20T17:50:16Z)
• Real-World Humanoid Locomotion with Reinforcement Learning [92.85934954371099]
  実世界におけるヒューマノイド移動に対する完全学習型アプローチを提案する。 コントローラーは様々な屋外の地形の上を歩けるし、外乱に対して頑丈で、状況に応じて適応できる。
  論文  参考訳（メタデータ） (2023-03-06T18:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。