論文の概要: InternW0-$Δ$: A World Action Model Bridging Predictive Dynamics and Actions with 20K+ Hours of Open Data
- arxiv url: http://arxiv.org/abs/2609.31394v1
- Date: Fri, 25 Sep 2026 15:24:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.455524
- Title: InternW0-$Δ$: A World Action Model Bridging Predictive Dynamics and Actions with 20K+ Hours of Open Data
- Title(参考訳): InternW0-$$$:20K以上のオープンデータで予測ダイナミクスとアクションをブリッジする世界アクションモデル
- Abstract要約: World Action Models (WAM) は、汎用ロボット操作のための視覚力学とアクション生成を共同でモデル化する。
異種コーパス上で事前訓練した統一WAMであるInternW0-$を紹介した。
トレーニングコード、モデルウェイト、インフラストラクチャ、データ処理パイプライン、およびライセンスが許可するデータ処理をオープンソースにします。
- 参考スコア(独自算出の注目度): 84.09989566646709
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: World Action Models (WAMs) jointly model visual dynamics and action generation for generalist robot manipulation. A central challenge is to integrate priors from large-scale pretrained models---including visual dynamics, scene semantics, geometry, and motion---into a unified framework for robot action generation. We introduce InternW0-$Δ$, a unified WAM pretrained on a heterogeneous corpus that outperforms prior methods across simulation benchmarks and real-robot platforms. InternW0-$Δ$ combines pretrained visual dynamics, scene-level semantics, 4D geometric and motion priors, and action generation within a Mixture-of-Transformers (MoT) framework. A pretrained video expert and an action expert interact under semantic guidance from a frozen VLM, while a pretrained 4D foundation model injects geometric and motion priors through training-only distillation. We further introduce Causal Imprint, which learns future-relevant scene changes from training-only future supervision and provides predictive representations directly to the action expert without future-video rollout at inference. For large-scale joint training, we construct a heterogeneous corpus of robot demonstrations, UMI data, egocentric human demonstrations, and Ego2Robot data, curated and aligned under a common state-action representation. The resulting corpus contains over 20K hours of processed training data, to our knowledge the largest open-source corpus of its kind. We pretrain InternW0-$Δ$ on this corpus and demonstrate strong performance across simulation benchmarks and real-robot platforms. We will open source the training code, model weights, infrastructure, data-processing pipeline, and processed data where licenses permit. Project page: https://internrobotics.github.io/InternW0-Delta/
- Abstract(参考訳): World Action Models (WAM) は、汎用ロボット操作のための視覚力学とアクション生成を共同でモデル化する。
主要な課題は、視覚力学、シーンセマンティクス、幾何学、動きを含む、大規模な事前訓練されたモデルから、ロボットアクション生成のための統合されたフレームワークへの事前統合である。
InternW0-$Δ$は異種コーパス上で事前訓練された統一WAMであり、シミュレーションベンチマークや実ロボットプラットフォームで先行手法より優れている。
InternW0-$Δ$は、事前訓練された視覚力学、シーンレベルのセマンティクス、4D幾何およびモーション先行、およびMixture-of-Transformers (MoT)フレームワーク内のアクション生成を組み合わせる。
予め訓練されたビデオ専門家とアクションエキスパートは、凍結したVLMからのセマンティックガイダンスの下で相互作用し、事前訓練された4Dファンデーションモデルは、トレーニング専用の蒸留を通じて幾何学的および運動的先行を注入する。
さらに、トレーニングのみによる将来の監視から、将来的なシーン変化を学習し、将来のビデオロールアウトを推論せずに、アクションエキスパートに直接予測表現を提供するCausal Imprintを紹介します。
大規模ジョイントトレーニングでは,ロボットのデモ,UMIデータ,エゴセントリックな人間のデモ,Ego2Robotデータなど多種多様なコーパスを構築し,共通状態動作表現に基づいて調整・調整する。
得られたコーパスには20K時間以上のトレーニングデータが含まれており、私たちの知る限り、このタイプのオープンソースのコーパスとしては最大だ。
我々は、このコーパスでInternW0-$Δ$を事前訓練し、シミュレーションベンチマークと実ロボットプラットフォームで強力な性能を示す。
トレーニングコード、モデルウェイト、インフラストラクチャ、データ処理パイプライン、およびライセンスが許可するデータ処理をオープンソースにします。
プロジェクトページ: https://internrobotics.github.io/InternW0-Delta/
関連論文リスト
- Disentangled Robot Learning via Separate Forward and Inverse Dynamics Pretraining [28.30092786035367]
DeFIはビジュアルフォワードと逆ダイナミクスを分離し、各データソースを利用するための新しいフレームワークである。
今後の予測のために,多種多様な人・ロボットビデオで事前訓練された一般フォワード・ダイナミクス・モデル(GFDM)と,ラベルなしビデオ遷移から潜伏行動を予測するための自己教師付き学習によって訓練された一般逆ダイナミクス・モデル(GIDM)を紹介する。
CALVIN ABC-D と SimplerEnv の実験では、DeFI は CALVIN の平均タスク長 4.51 に達し、SimplerEnv-Frac は 51.2% 成功した。
論文 参考訳(メタデータ) (2026-03-27T17:20:10Z) - Learning Physics from Pretrained Video Models: A Multimodal Continuous and Sequential World Interaction Models for Robotic Manipulation [63.04810454548667]
我々は、ロボット操作タスクを解決するために、スケーラブルで連続的かつシーケンシャルな世界インタラクションフレームワークであるPhysGenを紹介した。
トレーニング済みのビデオモデルを物理シミュレーターのプロキシとして扱うことで、PhysGenは外部環境とロボット動作の間の動的相互作用をモデル化する。
本稿では,映像とアクションを共有物理トークンに統合し,離散映像生成と連続ロボット制御のギャップを埋めるマルチモーダル連続表現を提案する。
論文 参考訳(メタデータ) (2026-02-18T14:58:18Z) - Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。
PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。
ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
論文 参考訳(メタデータ) (2025-08-13T13:54:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。