論文の概要: Thinker-WM: A Unified World Model with Shared Multimodal Representations for Embodied Intelligence
- arxiv url: http://arxiv.org/abs/2610.18447v3
- Date: Mon, 19 Oct 2026 06:56:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.200626
- Title: Thinker-WM: A Unified World Model with Shared Multimodal Representations for Embodied Intelligence
- Title（参考訳）: Thinker-WM: 身体知のための共有マルチモーダル表現を用いた統一世界モデル
- Abstract要約: 我々は、RGB、メートル法深度、ロボットアクションを共同でモデル化し、生成する統合マルチモーダル世界モデルであるThinker-WMを提案する。
モデルは、表現レベルでマルチモーダル統一を実行する。
実験は、具体的世界モデル評価において強い性能を示す。
- 参考スコア（独自算出の注目度）: 11.349809977878488
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: World models have emerged as a promising paradigm for embodied AI, yet existing systems often remain fragmented in the modalities they model and the functions they support. In particular, visual dynamics, geometric structure, and executable action are commonly coupled through separate interfaces or downstream modules rather than being jointly represented and evolved within a shared dynamics model. In this work, we present Thinker-WM, a unified multimodal world model that jointly models and generates RGB, metric depth, and robot action through a shared intermediate Unified Dynamics Transformer with modality-specific encoders and decoders. The model performs multimodal unification at the representation level: appearance, geometry, and action are transformed into a common dynamic representation and jointly evolved by shared parameters, while their distinct output structures are preserved. The same parameterization supports multiple functions, including joint video-action generation, world prediction, policy inference, action-conditioned generation, video-to-action generation, and inverse dynamics. To examine whether the shared representation captures action-related information, we introduce a lightweight motion probe that shows the frozen visual representation contains recoverable motion information. Thinker-WM is trained on a heterogeneous corpus comprising approximately 20K hours of egocentric video, 10K hours of real-robot data, and 1K hours of simulation data, including approximately 4K hours of real-robot data with aligned depth supervision. Extensive experiments demonstrate strong performance across embodied world-model evaluations. Thinker-WM ranks first on EWMBench, WorldOlympiad and WorldArena, while controlled studies further demonstrate the benefits of action conditioning, geometric interaction, and multi-function training within the shared representation.
- Abstract（参考訳）: 世界モデルは、AIを具現化するための有望なパラダイムとして現れてきたが、既存のシステムは、それらがモデル化するモダリティと、それらをサポートする機能の中で断片化され続けていることが多い。
特に、視覚力学、幾何学構造、実行可能動作は、共有力学モデル内で共同で表現され、進化する代わりに、分離されたインターフェイスまたは下流モジュールを介して一般的に結合される。
本研究では,RGB,メートル法深度,ロボット動作を協調的にモデル化・生成する統合マルチモーダル世界モデルであるThinker-WMについて,モダリティ特化エンコーダとデコーダを用いた共通中間型Unified Dynamics Transformerを用いて紹介する。
外観、幾何学、行動は共通の動的表現に変換され、共有パラメータによって共同で進化し、それぞれの出力構造は保存される。
同じパラメータ化は、ジョイントビデオアクション生成、世界予測、ポリシー推論、アクション条件生成、ビデオ対アクション生成、逆ダイナミクスなど、複数の機能をサポートする。
共有表現が行動関連情報をキャプチャするかどうかを調べるために,凍結した視覚表現が回復可能な動作情報を含むことを示す軽量な動きプローブを提案する。
Thinker-WMは、エゴセントリックなビデオの約20K時間、実ロボットデータの約10K時間、シミュレーションデータの約1K時間からなる異種コーパスでトレーニングされている。
広汎な実験は、具体化された世界モデル評価において強い性能を示す。
シンガー-WMは、EWMBench、WorldOlympiad、WorldArenaにランクインし、制御された研究は、共有表現におけるアクション条件付け、幾何学的相互作用、多機能トレーニングの利点をさらに証明している。
関連論文リスト
- World Motion Models: Flexible Sequence Modeling of SE(3) Trajectories [82.08884552902076]
WMM(World Motion Models)を提案する。
この表現は、明瞭な物体、人体、手動物体の相互作用、断片的に巧妙なシーンダイナミクス、カメラモーション、さらにはロボットの状態とアクションを単一の共有空間に統一する。
論文 参考訳（メタデータ） (2026-10-01T14:13:24Z) - Dream4ACT: A Shared Visual Action Interface for Multi-Embodiment Video-Action Modeling [24.137407798110896]
本稿では,エボディメントを横断する共同ビデオアクションモデリングのための世界モデルDream4ACTを紹介する。
我々は、所定の4つの仮想カメラから目標の関節構成をレンダリングする、アクションビューと呼ばれる共有視覚アクションインタフェースを導入する。
Dream4ACTはRoboTwin2.0で88.98%、TriWorldBenchで65.66点を記録した。
論文 参考訳（メタデータ） (2026-09-30T16:55:14Z) - Code Plans, Diffusion Renders: Open-Ended Generative World Modeling [82.36042129562516]
我々は世界モデリングの新しいパラダイムである textbfCoDeR を紹介する。
本システムは,コードによる実行可能世界を明示的に構築し,映像生成モデルを用いて視覚的実現を行う。
論文 参考訳（メタデータ） (2026-09-22T14:12:15Z) - GWM-VLA: Geometry-Aware Latent World Modeling for Vision-Language-Action Learning [28.596605555817032]
VLA(Vision-Language-Action)モデルは強力なロボット操作性能を実現するが、視覚や環境の変化によって劣化することが多い。
本稿では,VLA学習のための幾何学的な潜在世界モデリングフレームワークであるGWM-VLAを提案する。
論文 参考訳（メタデータ） (2026-08-07T06:41:51Z) - MetaWorld: Scaling Multi-Agent Video World Model from Single-view Video Data [125.43597497646444]
MetaWorldは、マルチエージェントビデオワールドモデルをシングルビュービデオから直接オープンドメイン環境にスケールする新しいフレームワークである。
クロスビューの一貫性とアイデンティティの整合性を向上し、マルチエージェントビデオワールドモデリングのための高度にスケーラブルで物理駆動のパラダイムを確立する。
論文 参考訳（メタデータ） (2026-06-01T18:20:20Z) - MotuBrain: An Advanced World Action Model for Robot Control [23.733029557644354]
We present MotuBrain, a unified World Action Model that jointly model video and action under a UniDiffuser formulation。
単一のモデルは、ポリシー学習、世界モデリング、ビデオ生成、逆ダイナミクス、共同ビデオアクション予測をサポートする。
Motus上に構築されているMotuBrainは、言語と相互作用の結合を強くするための独立したテキストストリームである、統一されたマルチビューモデリングも導入している。
我々の推論スタックは、ステップの削減、コンパイル、FP8量子化、DiTキャッシュ、V2Aスタイルのアクション専用推論、リアルタイムチャンククループ実行を組み合わせたものです。
論文 参考訳（メタデータ） (2026-04-30T12:34:44Z) - TeleWorld: Towards Dynamic Multimodal Synthesis with a 4D World Model [53.555353366322464]
我々は,映像生成,動的シーン再構成,長期記憶をクローズドループシステム内で統合するリアルタイム多モード4DワールドモデリングフレームワークTeleWorldを提案する。
提案手法は,動的オブジェクトモデリングと静的シーン表現のシームレスな統合を実現し,現実的でインタラクティブで計算可能な合成システムに向けて世界モデルを推し進める。
論文 参考訳（メタデータ） (2025-12-31T18:31:46Z) - GENMO: A GENeralist Model for Human MOtion [64.16188966024542]
本稿では,1つのフレームワークで動作推定と生成を橋渡しする汎用人体運動モデル GENMO を提案する。
我々の重要な洞察は、出力運動が観測された条件信号を正確に満たさなければならないような制約された動き生成として運動推定を再構成することである。
我々の新しいアーキテクチャは、可変長動きと混合マルチモーダル条件(テキスト、オーディオ、ビデオ)を異なる時間間隔で処理し、柔軟な制御を提供する。
論文 参考訳（メタデータ） (2025-05-02T17:59:55Z) - Unified World Models: Coupling Video and Action Diffusion for Pretraining on Large Robotic Datasets [7.667819384855409]
我々は、ビデオとアクションデータの両方を政策学習に活用できるフレームワークUnified World Models (UWM)を提案する。
各拡散時間ステップを制御することにより、UWMはポリシー、フォワードダイナミクス、逆ダイナミクス、ビデオジェネレータを柔軟に表現することができる。
以上の結果から,UWMは大規模で異種なデータセットをスケーラブルなロボット学習に活用する上で,有望なステップとなることが示唆された。
論文 参考訳（メタデータ） (2025-04-03T17:38:59Z) - InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。
我々の重要な洞察は、大規模なビデオ生成モデルは、大規模ビデオデータからインタラクティブなダイナミクスを学習し、ニューラルと暗黙の物理シミュレーターの両方として機能できるということです。
論文 参考訳（メタデータ） (2024-12-16T13:57:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。