論文の概要: FloMo: 3D Scene Flow as a World Action Model Intermediate for Learning from Human Video
- arxiv url: http://arxiv.org/abs/2611.05062v2
- Date: Wed, 04 Nov 2026 03:57:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.783489
- Title: FloMo: 3D Scene Flow as a World Action Model Intermediate for Learning from Human Video
- Title（参考訳）: FloMo:人間のビデオから学ぶための世界アクションモデルとしての3次元シーンフロー
- Abstract要約: FloMoは3Dシーンフローとアクショントークンを予測するために微調整された5Bビデオ生成モデルである。
我々は,ロボット行動に最適な映像事前学習を行う媒体として,密度の高い3Dモーションが重要であると論じている。
- 参考スコア（独自算出の注目度）: 21.255681124381905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained video generation models distill internet-scale motion priors into robot policies, but full video is a redundant signal for action prediction. We argue that dense 3D motion is the medium through which video pretraining best transfers to robot actions, and that predicting motion rather than video affords better sample-efficiency for action prediction. FloMo is a 5B video-generation model fine-tuned to predict 3D scene-flow and action tokens. Rendering scene flow as RGB and encoding it into the same latent space as video enables a pretrained video generation backbone to efficiently adapt to predict 3D scene flow. Co-trained on action-free human video and action-labeled robot teleoperation data, our model benefits from human-video pretraining and generalizes to unseen objects, motion primitives, and tasks. Replacing motion prediction with a video prediction objective degrades out-of-distribution generalization, while adding a video prediction target alongside motion lowers policy success rather than improving it. When motion, video, and action are predicted jointly, action tokens attend far more to motion than to video, suggesting that predicting video wastes model capacity. Together, these results indicate that motion effectively mediates the transfer from video pretraining to action. More information can be found at flomo-wam.github.io.
- Abstract（参考訳）: 事前訓練されたビデオ生成モデルは、インターネットスケールの動作先をロボットポリシーに蒸留するが、フルビデオはアクション予測のための冗長な信号である。
我々は、高密度な3Dモーションは、ビデオがロボットのアクションに最適な事前訓練を行う媒体であり、ビデオよりもビデオの方が、アクション予測のサンプル効率が良いと論じている。
FloMoは3Dシーンフローとアクショントークンを予測するために微調整された5Bビデオ生成モデルである。
シーンフローをRGBとしてレンダリングし、ビデオと同じ潜伏空間にエンコードすることで、事前訓練されたビデオ生成バックボーンを効率よく3Dシーンフローを予測することができる。
アクションフリーな人間ビデオとアクションラベル付きロボット遠隔操作データに基づいて、我々のモデルは人間のビデオ事前学習の恩恵を受け、見えない物体、モーションプリミティブ、タスクに一般化する。
動画予測目標による動き予測の置き換えは、配信の一般化を損なうと同時に、動画予測目標と動画予測を同時に追加することで、その改善よりも政策成功率を低下させる。
モーション、ビデオ、アクションが共同で予測されるとき、アクショントークンはビデオよりもはるかに多くの動きに参加し、ビデオの予測がモデル能力の浪費を示唆している。
これらの結果から,動きは映像の事前学習から行動への移動を効果的に媒介することが示された。
詳細はflomo-wam.github.ioで見ることができる。
関連論文リスト
- Future Representation Distillation for Imagination-Free World Action Models [72.372757627257]
本稿では,プレトレーニングされたビデオ拡散モデルを表現蒸留による予測的視覚エンコーダとして再利用するWAMであるDreamFreeを紹介する。
現実世界とシミュレーションされたタスク全体で、DreamFreeは最先端のVLAやWAMよりも高い成功率を達成する。
論文 参考訳（メタデータ） (2026-11-03T08:55:03Z) - Trace-WAM: Learning to Act via 3D Motion Prediction for World Action Models [25.100479944006583]
Trace-WAMは、将来の3Dモーション予測を補助目的としてビデオアクション学習を強化する。
我々は、映像予測、モーション予測、アクション生成を共同で学習するために、3分岐のMixture-of-Transformer(Tri-MoT)アーキテクチャを採用する。
RoboCasa-GR1, LIBERO, LIBERO-Plusの実験では, 分配性能と分布外一般化が強く示された。
論文 参考訳（メタデータ） (2026-10-27T08:38:18Z) - Being-M0.7: A Latent World-Action Model for Humanoid Robots [52.49928557294444]
我々は,人間のデータから学習した視覚的動きを,事前学習,ロボットのミッドトレーニング,アクションポストトレーニングを通じてヒューマノイド制御に伝達する潜在世界行動モデルであるBeing-M0.7を提案する。
我々は、1万時間以上の生の人中心データからコーパスをキュレートし、ビデオのみ、モーションのみ、およびペア化されたビデオモーションストリームを統合して、補完的な視覚力学と全身の運動構造を学習する。
Be-M0.7はSIMPLEで比較したベースラインの中で最高成功率に達し、現実世界のUnitree G1ロコ操作タスクで最強のベースラインと一致する。
論文 参考訳（メタデータ） (2026-10-08T05:49:24Z) - WholeBodyWAM: Learning Whole-Body World Action Models with Scalable Motion Priors [28.761088065994244]
WholeBodyWAMは、ターゲットロボット訓練の前に、大規模な異種運動から全身動態を学習する。
言語条件のモーションエキスパートは、ターゲットロボットアクションの監督なしに、将来の全身の動きを予測するために事前訓練される。
実験により、WholeBodyWAMは運動抑制尺度の増大の恩恵を一貫して受けることが示された。
論文 参考訳（メタデータ） (2026-09-16T06:32:21Z) - MotionForesight: Re-purposing Video Models for Future 3D Scene-Flow Prediction [12.549249041637976]
我々は、通常のモノクラービデオから人間と物体の相互作用の予測を学習する方法を研究する。
MotionForesightは、操作されたオブジェクトのポイントに対する将来の3Dトラジェクトリを予測する。
まず、事前訓練されたビデオモデル上に構築された高密度な3Dトラッカーから始まり、全クリップから擬似地下トラックを生成し、観測されたフレームのみを用いて予測者を訓練する。
論文 参考訳（メタデータ） (2026-07-17T17:59:38Z) - GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。
実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
論文 参考訳（メタデータ） (2026-03-18T00:52:02Z) - ViPRA: Video Prediction for Robot Actions [33.310474967770894]
我々は、アクションレスビデオから連続ロボット制御を学ぶためのフレームワークViPRA(Video Prediction for Robot Actions)を提案する。
アクションを直接予測する代わりに、将来の視覚的観察と動き中心の潜伏行動の両方を予測するためにビデオ言語モデルを訓練する。
下流制御では,潜時動作をロボット固有の連続動作シーケンスにマッピングするチャンクフローマッチングデコーダを導入する。
論文 参考訳（メタデータ） (2025-11-11T01:33:03Z) - Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。
PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。
ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
論文 参考訳（メタデータ） (2025-08-13T13:54:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。