論文の概要: MMaDA-VLA: Large Diffusion Vision-Language-Action Model with Unified Multi-Modal Instruction and Generation
- arxiv url: http://arxiv.org/abs/2603.25406v1
- Date: Thu, 26 Mar 2026 12:55:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-27 20:52:48.30178
- Title: MMaDA-VLA: Large Diffusion Vision-Language-Action Model with Unified Multi-Modal Instruction and Generation
- Title(参考訳): MMaDA-VLA:マルチモード命令と生成を統一した大拡散ビジョンランゲージ・アクションモデル
- Authors: Yang Liu, Pengxiang Ding, Tengyue Jiang, Xudong Wang, Wenxuan Song, Minghui Lin, Han Zhao, Hongyin Zhang, Zifeng Zhuang, Wei Zhao, Siteng Huang, Jinkui Shi, Donglin Wang,
- Abstract要約: Vision-Language-Action(VLA)モデルは、視覚的な観察や自然言語の指示からロボットを操作することを目的としている。
MMaDA-VLAは,マルチモーダル理解と生成をひとつのフレームワークで統一する,完全ネイティブな大規模拡散VLAモデルである。
- 参考スコア(独自算出の注目度): 47.2088748094605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models aim to control robots for manipulation from visual observations and natural-language instructions. However, existing hierarchical and autoregressive paradigms often introduce architectural overhead, suffer from temporal inconsistency and long-horizon error accumulation, and lack a mechanism to capture environment dynamics without extra modules. To this end, we present MMaDA-VLA, a fully native pre-trained large diffusion VLA model that unifies multi-modal understanding and generation in a single framework. Our key idea is a native discrete diffusion formulation that embeds language, images, and continuous robot controls into one discrete token space and trains a single backbone with masked token denoising to jointly generate a future goal observation and an action chunk in parallel. Iterative denoising enables global, order-free refinement, improving long-horizon consistency while grounding actions in predicted future visual outcomes without auxiliary world models. Experiments across simulation benchmarks and real-world tasks show state-of-the-art performance, achieving 98.0% average success on LIBERO and 4.78 average length on CALVIN.
- Abstract(参考訳): VLA(Vision-Language-Action)モデルは、視覚的な観察や自然言語の指示からロボットを操作することを目的としている。
しかし、既存の階層的・自己回帰的なパラダイムは、しばしばアーキテクチャ上のオーバーヘッドを導入し、時間的不整合と長い水平誤差の蓄積に悩まされ、余分なモジュールなしで環境ダイナミクスをキャプチャするメカニズムが欠如している。
そこで本研究では,マルチモーダル理解と生成をひとつのフレームワークで統一する,完全ネイティブな大規模拡散VLAモデルであるMMaDA-VLAを提案する。
我々のキーとなるアイデアは、言語、画像、連続ロボット制御を1つの離散トークン空間に埋め込んだネイティブな離散拡散定式化であり、マスク付きトークンで単一のバックボーンを訓練し、将来の目標観測とアクションチャンクを並列に生成する。
イテレーティブ・デノゲーションは、グローバルで秩序のない洗練を可能にし、長期の一貫性を改善しながら、補助的な世界モデルなしで将来の視覚的成果を予測する。
シミュレーションベンチマークと実世界のタスクによる実験は最先端のパフォーマンスを示し、LIBEROでは平均98.0%、CALVINでは平均4.78パーセントを達成している。
関連論文リスト
- dVLA: Diffusion Vision-Language-Action Model with Multimodal Chain-of-Thought [66.78110237549087]
VLA(Vision-Language-Action)モデルは、ロボット工学の次世代パラダイムとして登場しつつある。
単一システムにおける視覚認識,言語推論,ロボット制御を統一する拡散型VLAであるdVLAを紹介する。
論文 参考訳(メタデータ) (2025-09-30T02:36:11Z) - DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge [41.030494146004806]
本稿では,逆動力学モデリングを実現するために,包括的世界知識予測を統合した新しいVLAフレームワークであるDreamVLAを提案する。
DreamVLAは、動的領域誘導の世界知識予測を導入し、空間的および意味的な手がかりと統合し、アクション計画のためのコンパクトで包括的な表現を提供する。
実世界とシミュレーション環境での実験では、ドリームVLAが実際のロボットタスクで76.7%の成功率を達成したことが示されている。
論文 参考訳(メタデータ) (2025-07-06T16:14:29Z) - Unified Vision-Language-Action Model [86.68814779303429]
我々は、視覚、言語、行動信号を離散トークンシーケンスとして自動回帰モデル化する、統一的でネイティブなマルチモーダルVLAモデルUniVLAを提案する。
提案手法は, CALVIN, LIBERO, Simplenv-Bridge など, 広く使用されているシミュレーションベンチマークにまたがって, 最新の結果を設定する。
さらに、現実世界のALOHA操作と自律運転に適用可能であることを実証する。
論文 参考訳(メタデータ) (2025-06-24T17:59:57Z) - CronusVLA: Towards Efficient and Robust Manipulation via Multi-Frame Vision-Language-Action Modeling [84.51372201195132]
CronusVLAは、単一フレームのVLAモデルをマルチフレームパラダイムに拡張する統合フレームワークである。
CronusVLAは70.9%の成功率で先進的な性能と優れた堅牢性を達成する。
これらの結果は、より強力で堅牢な実世界展開のためのVLAモデルにおける効率的なマルチフレーム適応の可能性を強調している。
論文 参考訳(メタデータ) (2025-06-24T17:30:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。