FuguReport

InternW0: A Foundational Physical World Model for Efficient Real-World Interactions

著者 Jisong Cai, Yao Mu, Ganlin Yang, Zhe Cao, Zhangzheng Tu, Xing Gao, Kailin Li, Xinyu Zhan, Lixin Yang, Yangkun Zhu, Haoxiang Ma, Ming Zhou, Qiaojun Yu, Yufei Xue, Liqun He, Yifei Yao, Yifan Zhu, Long Ling, Bingqi Jiang, Haoyu Guo, Xueyue Zhu, Bowen Zhou, Bin Zhao, Tianfan Xue, Chunhua Shen, Weinan Zhang
所属 Shanghai AI Laboratory
カテゴリ Method / Physical World Modeling / Video-action architecture with flow matching, Application / Robot Control / Learning continuous control from egocentric data, Evaluation / Data Efficiency / Training on heterogeneous and egocentric robotic datasets
ライセンス CC BY 4.0

Abstractの概要

InternW0は、物理世界での閉ループ相互作用に向けて将来の視覚予測と連続的なロボット制御を結びつけるよう設計された、InternW物理世界モデルシリーズの最初のモデルです。そのアーキテクチャは、高容量の映像エキスパートと軽量な行動エキスパートを非対称な映像・行動Mixture-of-Transformers内で組み合わせ、新しい観測を取り入れつつキャッシュされた予測コンテキストを行動更新で利用できるようにする観測条件付きコンテキストルーティングを備えています。本モデルは、275時間のウェットラボ一人称視点データセット「EgoLab」を含む約7,200時間の異種ロボットおよび一人称視点データで事前学習されており、接触を意識したマニピュレーションのために力覚や触覚の履歴を用いて拡張することも可能です。本論文では、シミュレーションベンチマーク、実ロボットタスク、ウェットラボの手順、および推論効率の測定においてInternW0を評価しています。

新規性

本論文の主な新規性は、キャッシュされた映像コンテキストの観測条件付き編集を通じて両者を結びつけつつ、低速な視覚予測と高速な行動生成を分離する非同期デュプレックス世界モデルの設計にあります。また、クロスエンボディメント事前学習、映像のみの一人称視点による教師あり学習、そして行動とともに力覚や触覚フィードバックなどの将来の相互作用信号を共同で予測する接触認識型の事後学習を組み合わせています。

成果

InternW0はLIBEROで平均成功率98.6%、RoboTwin 2.0-Fullで平均成功率93.12%、RoboTwin 2.0-Clean2Randomで平均成功率75.60%を達成し、比較表の中で最良の平均結果を報告しています。5つの実世界タスクにおいて報告されたベースラインと同等以上の性能を示し、15段階の金属有機構造体(MOF)実験で68.4%、定量的ピペッティングで65.3%の進行度を達成しました。クリティカルパスの行動レイテンシは60.73 msと報告されており、これはモデル側で16.47 Hzのポリシー更新レートに相当し、Fast-WAMに対して3.13倍の高速化を実現しています。

論文の注目点

  1. InternW0は、高速な閉ループ制御中に予測映像コンテキストを再利用するため、観測条件付きチャンクK/V編集を備えた非対称なVideo-DiT/Action-DiTアーキテクチャを採用している。
  2. 学習レシピは、275.4時間のEgoLab一人称視点ウェットラボデータセットや、異種エンボディメント向けの統合された37次元行動/状態インターフェースを含む、7つのデータセットにわたる7,233.5時間で構成されている。
  3. 評価により、強力なシミュレーションマニピュレーション性能、実ロボットおよびウェットラボタスク実行の向上、ならびに行動のクリティカルな推論パスにおける低レイテンシが示されている。

参考リンク

このページはGPT-5、Claude Opus 4、Gemini 3、Gemini 3.1 Flash Image 及びその上位バージョンなどの生成AIを用いて作成されています。内容の保証は一切できません。