論文の概要: WorldBagel: Uncovering the Power of Unified Multimodal Models for Vision-Language-Action-World Modeling
- arxiv url: http://arxiv.org/abs/2607.03461v1
- Date: Fri, 03 Jul 2026 16:18:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.625007
- Title: WorldBagel: Uncovering the Power of Unified Multimodal Models for Vision-Language-Action-World Modeling
- Title（参考訳）: WorldBagel: ビジョンランゲージ・アクション・ワールドモデリングのための統一マルチモーダルモデルのパワーを明らかにする
- Abstract要約: 世界モデルは、知覚、推論、行動をサポートする方法で環境力学を捉えることを目的としている。
我々は,現代のマルチモーダル統一モデルであるBAGEL上に構築された統一VLAWフレームワークであるtextttWorldBagelを紹介した。
textttWorldBagelは、タスク固有の代替品を一貫して上回り、より構造化され、視覚的および言語的コンテキストにセマンティックに整合したアクション表現を学ぶ。
- 参考スコア（独自算出の注目度）: 53.14409745466386
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World models aim to capture environment dynamics in ways that support perception, reasoning, and action, and have recently become a central direction in Vision-Language-Action-World (VLAW) modeling. Meanwhile, unified vision-language models have demonstrated strong multimodal generation capabilities, yet their potential as world models remains underexplored. In this work, we introduce \texttt{WorldBagel}, a unified VLAW framework built on BAGEL, a modern multimodal unified model, and use it to systematically investigate the role of unification in world modeling. Across multi-task robotic manipulation and cross-domain experiments, \texttt{WorldBagel} consistently outperforms task-specific alternatives and learns action representations that are more structured and semantically aligned with visual and linguistic context. Experiments on LIBERO, Language Table, and Franka show that unification is not only an architectural convenience, but also a key factor in learning effective VLAW models, leading to consistent empirical gains and deeper insights into multimodal world modeling. Code and model checkpoints will be released upon acceptance.
- Abstract（参考訳）: 世界モデルは、知覚、推論、行動をサポートする方法で環境力学を捉えることを目的としており、近年ではビジョン・ランゲージ・アクション・ワールド(VLAW)モデリングの中心的な方向性となっている。
一方、統合視覚言語モデルは強力なマルチモーダル生成能力を示してきたが、世界モデルとしての可能性はまだ未解明のままである。
本稿では,現代のマルチモーダル統一モデルであるBAGEL上に構築された統一VLAWフレームワークである「texttt{WorldBagel}」を紹介し,世界モデリングにおける統一の役割を体系的に検討する。
マルチタスクのロボット操作とクロスドメインな実験を通して、 \texttt{WorldBagel} はタスク固有の代替品を一貫して上回り、視覚的および言語的文脈により構造化され意味的に整合したアクション表現を学ぶ。
LIBERO、Language Table、Frankaの実験は、統一はアーキテクチャ上の利便性だけでなく、効果的なVLAWモデルを学習する上でも重要な要素であることを示している。
コードとモデルチェックポイントは受け入れ次第リリースされる。
関連論文リスト
- World Action Models: The Next Frontier in Embodied AI [123.5787299299832]
VLA(Vision-Language-Action)モデルは、具体的政策学習のための強力なセマンティックな一般化を実現している。
彼らは、物理的な世界が介入の下でどのように進化するかを明示的にモデル化することなく、リアクティブな観察から行動へのマッピングを学ぶ。
成長するこの制限には、世界モデル、環境ダイナミクスの予測モデル、アクション生成パイプラインを統合することで対処する。
論文 参考訳（メタデータ） (2026-05-12T13:10:52Z) - MotuBrain: An Advanced World Action Model for Robot Control [23.733029557644354]
We present MotuBrain, a unified World Action Model that jointly model video and action under a UniDiffuser formulation。
単一のモデルは、ポリシー学習、世界モデリング、ビデオ生成、逆ダイナミクス、共同ビデオアクション予測をサポートする。
Motus上に構築されているMotuBrainは、言語と相互作用の結合を強くするための独立したテキストストリームである、統一されたマルチビューモデリングも導入している。
我々の推論スタックは、ステップの削減、コンパイル、FP8量子化、DiTキャッシュ、V2Aスタイルのアクション専用推論、リアルタイムチャンククループ実行を組み合わせたものです。
論文 参考訳（メタデータ） (2026-04-30T12:34:44Z) - Towards Practical World Model-based Reinforcement Learning for Vision-Language-Action Models [35.944951371813296]
VLA(Vision-Language-Action)モデルは、ロボット制御の強力な一般化を示すが、強化学習(RL)を用いてそれらを微調整することは、現実世界の相互作用のコストと安全性のリスクに制約される。
VLAファインタニングにおけるこれらの問題に対処するための実践的なフレームワークであるVLA-MBPOを提案する。
データ効率のよい世界モデリングのための統一マルチモーダルモデルへの適応 (i) マルチビュー整合性を実現するためのインターリーブビューデコーディング機構 (ii) エラー合成を緩和するためのチャンクレベル分岐ロールアウト (iii) の3つの主要な設計選択がある。
論文 参考訳（メタデータ） (2026-03-21T02:44:39Z) - Beyond Language Modeling: An Exploration of Multimodal Pretraining [125.34714978184638]
我々は、制御されたオフスクラッチ事前学習実験を通して経験的明瞭度を提供する。
我々はトランスフュージョン・フレームワークを採用し、言語と視覚の拡散を次々に予測する。
我々は、MoEアーキテクチャが、言語によって要求される高いモデル容量を提供することにより、このスケーリング非対称性を調和させることを実証する。
論文 参考訳（メタデータ） (2026-03-03T18:58:00Z) - From Word to World: Can Large Language Models be Implicit Text-based World Models? [82.47317196099907]
エージェント強化学習は、経験駆動のスケーリングにますます依存している。
世界モデルは、シミュレートされた経験を通して学習効率を改善する潜在的方法を提供する。
大規模言語モデルがこの役割を確実に果たせるか,どのような条件でエージェントに有意義な利益をもたらすかを検討する。
論文 参考訳（メタデータ） (2025-12-21T17:28:42Z) - Co-Evolving Latent Action World Models [57.48921576959243]
学習済みのビデオモデルを潜在アクションを介して制御可能な世界モデルに適応させることは、ジェネラリストの世界モデルを作成するための有望なステップである。
本稿では,この相乗的パラダイムを初めて実現したCoLA-Worldを提案する。
世界モデルは知識のある家庭教師として機能し、高品質のLAMを形成するための勾配を提供する。
論文 参考訳（メタデータ） (2025-10-30T12:28:40Z) - Can World Models Benefit VLMs for World Dynamics? [59.73433292793044]
本研究では,世界モデル先行モデルがビジョンランゲージモデルに移行した場合の能力について検討する。
最高の性能を持つDynamic Vision Aligner (DyVA) と名付けます。
DyVAはオープンソースとプロプライエタリの両方のベースラインを超え、最先端または同等のパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2025-10-01T13:07:05Z) - OccLLaMA: An Occupancy-Language-Action Generative World Model for Autonomous Driving [12.004183122121042]
OccLLaMA (OccLLaMA) は、言語による世界モデルである。
私たちは、視覚、言語、行動のための統合されたマルチモーダル語彙を構築します。
OccLLaMAは複数のタスクで競合性能を達成する。
論文 参考訳（メタデータ） (2024-09-05T06:30:01Z) - WorldGPT: Empowering LLM as Multimodal World Model [51.243464216500975]
MLLM(Multimodal Large Language Model)に基づく汎用世界モデルWorldGPTを紹介する。
WorldGPTは、さまざまなドメインにまたがる数百万のビデオを分析して、世界ダイナミクスの理解を得る。
マルチモーダル状態遷移予測ベンチマークWorldNetの評価を行う。
論文 参考訳（メタデータ） (2024-04-28T14:42:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。