論文の概要: TeleWorld: Towards Dynamic Multimodal Synthesis with a 4D World Model
- arxiv url: http://arxiv.org/abs/2601.00051v1
- Date: Wed, 31 Dec 2025 18:31:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-05 15:04:33.234313
- Title: TeleWorld: Towards Dynamic Multimodal Synthesis with a 4D World Model
- Title（参考訳）: TeleWorld: 4次元世界モデルによる動的マルチモーダル合成を目指して
- Abstract要約: 我々は,映像生成,動的シーン再構成,長期記憶をクローズドループシステム内で統合するリアルタイム多モード4DワールドモデリングフレームワークTeleWorldを提案する。
提案手法は,動的オブジェクトモデリングと静的シーン表現のシームレスな統合を実現し,現実的でインタラクティブで計算可能な合成システムに向けて世界モデルを推し進める。
- 参考スコア（独自算出の注目度）: 53.555353366322464
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World models aim to endow AI systems with the ability to represent, generate, and interact with dynamic environments in a coherent and temporally consistent manner. While recent video generation models have demonstrated impressive visual quality, they remain limited in real-time interaction, long-horizon consistency, and persistent memory of dynamic scenes, hindering their evolution into practical world models. In this report, we present TeleWorld, a real-time multimodal 4D world modeling framework that unifies video generation, dynamic scene reconstruction, and long-term world memory within a closed-loop system. TeleWorld introduces a novel generation-reconstruction-guidance paradigm, where generated video streams are continuously reconstructed into a dynamic 4D spatio-temporal representation, which in turn guides subsequent generation to maintain spatial, temporal, and physical consistency. To support long-horizon generation with low latency, we employ an autoregressive diffusion-based video model enhanced with Macro-from-Micro Planning (MMPL)--a hierarchical planning method that reduces error accumulation from frame-level to segment-level-alongside efficient Distribution Matching Distillation (DMD), enabling real-time synthesis under practical computational budgets. Our approach achieves seamless integration of dynamic object modeling and static scene representation within a unified 4D framework, advancing world models toward practical, interactive, and computationally accessible systems. Extensive experiments demonstrate that TeleWorld achieves strong performance in both static and dynamic world understanding, long-term consistency, and real-time generation efficiency, positioning it as a practical step toward interactive, memory-enabled world models for multimodal generation and embodied intelligence.
- Abstract（参考訳）: 世界モデルは、コヒーレントで時間的に一貫した方法で動的環境を表現、生成、相互作用する能力を持つAIシステムの実現を目指している。
最近のビデオ生成モデルは印象的な視覚的品質を示しているが、リアルタイムの相互作用、長い水平の一貫性、ダイナミックなシーンの永続的な記憶に限られており、現実的な世界モデルへの進化を妨げる。
本稿では,映像生成,動的シーン再構成,長期記憶をクローズドループシステム内で統合するリアルタイム多モード4DワールドモデリングフレームワークであるTeleWorldについて述べる。
TeleWorldは、生成したビデオストリームを動的4D時空間表現に継続的に再構成し、空間的、時間的、物理的整合性を維持するためにその後の世代をガイドする、新しい世代再構成誘導パラダイムを導入している。
低レイテンシで長軸生成を実現するために,マクロからマイクロプランニング(MMPL)により拡張された自己回帰拡散に基づくビデオモデルを用いる。
提案手法は,動的オブジェクトモデリングと静的シーン表現のシームレスな統合を実現し,現実的でインタラクティブで計算可能なシステムに向けて世界モデルを推し進める。
大規模な実験により、TeleWorldは、静的および動的世界理解、長期的一貫性、およびリアルタイム生成効率において強力な性能を達成し、マルチモーダル生成と具体的インテリジェンスのためのインタラクティブなメモリ対応世界モデルに向けた実践的なステップとして位置づけられている。
関連論文リスト
- DVG-WM: Disentangled Video Generation Enables Efficient Embodied World Model for Robotic Manipulation [41.032627534378065]
本稿では、世界モデリングを動的学習と視覚合成に分解する効率的なフレームワークであるDVG-WMを提案する。
LIBEROと現実世界のプラットフォームでの実験では、最大3.97倍の加速で画質が改善された。
論文 参考訳（メタデータ） (2026-06-30T17:54:32Z) - Embody4D: A Generalist 4D World Model for Embodied AI [13.488596291534243]
Embody4Dは、エンボディされたシナリオのための専用ビデオからビデオの世界モデルである。
モノクロビデオから任意の新しいビューを再生することができる。
最先端のパフォーマンスを実現し、堅牢な世界モデルとして機能する。
論文 参考訳（メタデータ） (2026-05-03T09:39:44Z) - Matrix-Game 3.0: Real-Time and Streaming Interactive World Model with Long-Horizon Memory [53.39687409541093]
Matrix-Game 3.0は、720pのリアルタイムビデオ生成用に設計されたメモリ拡張型インタラクティブワールドモデルである。
データ、モデル、推論にまたがる体系的な改善を導入する。
実験結果から, Matrix-Game 3.0は最大40FPSのリアルタイム生成を実現し, 5Bモデルで720pの解像度を実現した。
論文 参考訳（メタデータ） (2026-04-10T06:00:09Z) - INSPATIO-WORLD: A Real-Time 4D World Simulator via Spatiotemporal Autoregressive Modeling [44.09983529522167]
INSPATIO-WORLDは、単一のビデオから高忠実なインタラクティブなシーンを復元し、生成できる新しいリアルタイムフレームワークである。
Implicit Spatiotemporal Cacheは参照と過去の観測結果を潜在世界表現に集約する。
Explicit Space Constraint Moduleは幾何学的構造を強制し、ユーザのインタラクションを正確かつ物理的に可視なカメラ軌道に変換する。
論文 参考訳（メタデータ） (2026-04-08T15:31:22Z) - LivingWorld: Interactive 4D World Generation with Environmental Dynamics [8.868060488503847]
リビングワールド(LivingWorld)は、1つの画像から環境動態を持つ4次元世界を生成するインタラクティブなフレームワークである。
LivingWorldはこの課題に対処し、シーンが拡大するにつれて、グローバルなコヒーレントなモーションフィールドを徐々に構築する。
我々はさらに、コンパクトなハッシュベースの運動場を用いて動きを表現し、シーン全体にわたって効率的なクエリと安定した動的伝播を可能にする。
論文 参考訳（メタデータ） (2026-04-02T05:38:48Z) - InSpatio-WorldFM: An Open-Source Real-Time Generative Frame Model [17.421965971185134]
InSpatio-WorldFMは空間知能のためのオープンソースのリアルタイムフレームモデルである。
InSpatio-WorldFMはフレームベースのパラダイムを採用し、各フレームを独立に生成し、低レイテンシのリアルタイム空間推論を可能にする。
論文 参考訳（メタデータ） (2026-03-12T13:28:50Z) - RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space [51.441415833480505]
RAYNOVAは、二重因果自己回帰フレームワークを使用するシナリオを駆動するための多視点世界モデルである。
相対的なシャーカー線位置符号化に基づいて、ビュー、フレーム、スケールにまたがる等方的時間的表現を構築する。
論文 参考訳（メタデータ） (2026-02-24T08:41:40Z) - DynamicVerse: A Physically-Aware Multimodal Framework for 4D World Modeling [67.95038177144554]
物理スケールでマルチモーダルな4DワールドモデリングフレームワークであるDynamicVerseを紹介した。
我々は視覚、幾何学、マルチモーダルモデルを用いて、メートルスケールの静的幾何、実世界の動的運動、インスタンスレベルのマスク、そして全体論的キャプションを解釈する。
DynamicVerseは、100K以上のビデオと800K以上の注釈付きマスク、インターネットビデオから10M以上のフレームからなる大規模なデータセットを提供する。
論文 参考訳（メタデータ） (2025-12-02T18:24:27Z) - IC-World: In-Context Generation for Shared World Modeling [61.69655562995357]
ビデオベースの世界モデルは、多様でダイナミックな視覚環境を合成する能力に注目が集まっている。
本稿では,モデルが入力画像の集合から複数のビデオを生成し,それぞれが異なるカメラポーズで同じ世界を表す共有世界モデリングに焦点を当てる。
入力画像の並列生成を可能にする新しい生成フレームワークであるIC-Worldを提案する。
論文 参考訳（メタデータ） (2025-12-01T16:52:02Z) - Any4D: Open-Prompt 4D Generation from Natural Language and Images [7.541641344819342]
bfPrimitive Embodied World Models (PEWM) を提案する。
我々のフレームワークは、きめ細かい物理的相互作用と高レベルの推論のギャップを埋め、スケーラブルで解釈可能で汎用的なインテリジェンスへの道を開く。
論文 参考訳（メタデータ） (2025-11-24T04:17:26Z) - SAMPO:Scale-wise Autoregression with Motion PrOmpt for generative world models [42.814012901180774]
textbfSAMPOは、フレーム内生成のための視覚的自己回帰モデリングと、次のフレーム生成のための因果モデリングを組み合わせたハイブリッドフレームワークである。
動作条件付きビデオ予測とモデルベース制御において,SAMPOが競合性能を発揮することを示す。
また、SAMPOのゼロショット一般化とスケーリング挙動を評価し、未知のタスクに一般化する能力を示す。
論文 参考訳（メタデータ） (2025-09-19T02:41:37Z) - OmniWorld: A Multi-Domain and Multi-Modal Dataset for 4D World Modeling [86.12242953301121]
我々は,4次元世界モデリングに特化した大規模マルチドメインマルチモーダルデータセットであるOmniWorldを紹介した。
既存の合成データセットと比較して、OmniWorld-Gameはよりリッチなモダリティカバレッジ、より大きなスケール、より現実的な動的インタラクションを提供する。
我々は、複雑な4D環境のモデリングにおいて、現在の最先端(SOTA)アプローチの限界を明らかにするための挑戦的なベンチマークを確立する。
論文 参考訳（メタデータ） (2025-09-15T17:59:19Z) - Learning Primitive Embodied World Models: Towards Scalable Robotic Learning [50.32986780156215]
我々は,世界モデリングのための新しいパラダイム--Primitive Embodied World Models (PEWM)を提案する。
ビデオ生成を固定的な短地平線に制限することにより,ロボット行動の言語概念と視覚的表現の微妙なアライメントを可能にする。
我々のフレームワークは、きめ細かい物理的相互作用と高レベルの推論のギャップを埋め、スケーラブルで解釈可能で汎用的なインテリジェンスへの道を開く。
論文 参考訳（メタデータ） (2025-08-28T14:31:48Z) - Learning World Models for Interactive Video Generation [20.793871778030113]
我々は、アクションコンディショニングと自動回帰フレームワークにより、インタラクティブな機能を備えた映像間モデルを強化する。
そこで本稿では, 長期のコンプレックスエラーを著しく低減するグローバルな条件付きビデオ検索拡張生成(VRAG)を提案する。
我々の研究は、内部世界モデリング機能を備えたビデオ生成モデルを改善するための包括的なベンチマークを確立する。
論文 参考訳（メタデータ） (2025-05-28T05:55:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。