論文の概要: SUAVE: Unified Video-Action Models via Masked Diffusion
- arxiv url: http://arxiv.org/abs/2610.04009v1
- Date: Fri, 02 Oct 2026 20:11:13 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-06 20:27:43.863845
- Title: SUAVE: Unified Video-Action Models via Masked Diffusion
- Title（参考訳）: SUAVE:Masked Diffusionによる統合ビデオアクションモデル
- Abstract要約: 視覚言語アクションモデル(VLA)は、事前訓練された視覚言語バックボーンから強力な意味基盤を継承する。
ビデオ拡散バックボーン上に構築されたワールドアクションモデル(WAM)は、言語を連続的な潜伏空間における凍結条件として扱うことができる。
マスク付き拡散変換器が言語で条件付けられたビデオとアクションを生成する単一の語彙統一アクションビデオモードであるSUAVEを提案する。
- 参考スコア（独自算出の注目度）: 8.58848926187245
- License:
- Abstract: Vision-language-action models (VLAs) inherit strong semantic grounding from pretrained vision-language backbones but are typically optimized for predicting actions rather than future observations. They can see and act, but they do not imagine the future before acting. World action models (WAMs) built on video diffusion backbones can imagine but treat language as frozen conditioning on a continuous latent space. Unified models bring these modalities into one architecture, but they either decode autoregressively, one token at a time, or keep video continuous with an auxiliary action head. In this work, we present SUAVE, a Single vocabulary Unified Action-Video modEl in which a masked diffusion transformer generates video and actions conditioned on language, with all three modalities represented as discrete tokens in a shared sequence. Choosing which tokens to mask at inference turns the same network into a world model, a robot policy, or a video-action model. For action-free co-training, the action positions of unlabeled video are filled with mask tokens and excluded from the loss. Simulation and real-world experiments demonstrate two findings. First, a single SUAVE model predicts long-horizon video and acts as a policy, competitive with dedicated world models and specialized action policies on static and dynamic manipulation tasks. On a real robot, our model generates subgoal images and an action chunk spanning one second of motion in 1,030 ms on an RTX 5090 GPU, sustaining closed-loop control at 2.5 actions per second. Second, pretraining on robot video and co-training on human video substantially improves policy performance and zero-shot robustness to distribution shift. Together, these results show that masked diffusion is a practical and versatile foundation for unified video-action modeling.
- Abstract（参考訳）: 視覚言語アクションモデル(VLA)は、訓練済みの視覚言語バックボーンから強力なセマンティックグラウンドを継承するが、通常は将来の観測よりも行動を予測するために最適化されている。
彼らは見ることができ、行動することができるが、行動する前に未来を想像することはない。
ビデオ拡散バックボーン上に構築されたワールドアクションモデル(WAM)は、言語を連続的な潜伏空間における凍結条件として扱うことができる。
統一されたモデルはこれらのモダリティを1つのアーキテクチャにもたらすが、それらは自動回帰的に1つのトークンを一度にデコードするか、補助アクションヘッドで動画を継続する。
本研究では,マスク付き拡散変換器を用いた単一語彙統一行動ビデオモードSUAVEを提案する。
どのトークンを推論でマスクするかを選択すると、同じネットワークを世界モデル、ロボットポリシー、ビデオアクションモデルに変える。
アクションフリーのコトレーニングでは、ラベルなしビデオのアクション位置はマスクトークンで満たされ、損失から除外される。
シミュレーションと実世界の実験は2つの結果を示した。
第一に、単一のSUAVEモデルは長距離動画を予測し、静的および動的操作タスクにおける専用の世界モデルと競合するポリシーとして機能する。
実ロボットでは,RTX 5090 GPU上での動作の1秒あたり1030msのサブゴール画像とアクションチャンクを生成し,毎秒2.5アクションでクローズドループ制御を行う。
第2に、ロボットビデオの事前訓練と人的ビデオの協調訓練は、配信シフトに対するポリシー性能とゼロショットロバスト性を大幅に向上させる。
これらの結果から,マスク拡散は統合ビデオアクションモデリングのための実用的で汎用的な基礎であることが示された。
関連論文リスト
- Masked Visual Actions for Unified World Modeling [96.12988421978463]
Masked Visual Actionsは、ビデオ内の任意の実体の部分的に明らかな軌跡としてアクションを表現するピクセル空間制御インタフェースである。
Revealing Robot Motionは、このモデルをフォワードダイナミクスモデルとして機能させ、低レベルのロボット動作に対するシーンの反応を予測する一方で、望ましい物体の動きを明らかにすることにより、同じモデルがロボットの動作をその結果と一致させる。
論文 参考訳（メタデータ） (2026-07-21T17:59:11Z) - Action Images: End-to-End Policy Learning via Multiview Video Generation [70.67042168383638]
我々は、ポリシー学習をマルチビュービデオ生成として定式化する統合世界アクションモデルであるAction Imagesを提案する。
本モデルでは,従来のビデオ空間モデルに比べて,最強のゼロショット成功率を実現し,ビデオアクションジョイント生成品質を向上させる。
論文 参考訳（メタデータ） (2026-04-07T17:59:30Z) - GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。
実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
論文 参考訳（メタデータ） (2026-03-18T00:52:02Z) - World Action Models are Zero-shot Policies [111.91938055103633]
本稿では,予めトレーニングされたビデオ拡散バックボーン上に構築されたワールドアクションモデル(WAM)であるDreamZeroを紹介する。
ビデオとアクションを共同でモデリングすることで、DreamZeroは異種ロボットデータから多様なスキルを効果的に学習する。
ビデオのみによる他のロボットや人間によるデモは、目に見えないタスクのパフォーマンスに対して42%以上の相対的な改善をもたらす。
論文 参考訳（メタデータ） (2026-02-17T15:04:02Z) - ViPRA: Video Prediction for Robot Actions [33.310474967770894]
我々は、アクションレスビデオから連続ロボット制御を学ぶためのフレームワークViPRA(Video Prediction for Robot Actions)を提案する。
アクションを直接予測する代わりに、将来の視覚的観察と動き中心の潜伏行動の両方を予測するためにビデオ言語モデルを訓練する。
下流制御では,潜時動作をロボット固有の連続動作シーケンスにマッピングするチャンクフローマッチングデコーダを導入する。
論文 参考訳（メタデータ） (2025-11-11T01:33:03Z) - Vidar: Embodied Video Diffusion Model for Generalist Manipulation [28.216910600346512]
Vidarは、ほとんどのエンボディメント固有のデータを転送可能なビデオに置き換える、事前駆動のローショット適応パラダイムである。
以上の結果から,強力で安価なビデオプリエントと最小限のオンロボットアライメントという,“先行的かつ多数の実施”のためのスケーラブルなレシピが示唆された。
論文 参考訳（メタデータ） (2025-07-17T08:31:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。