論文の概要: INSPATIO-WORLD: A Real-Time 4D World Simulator via Spatiotemporal Autoregressive Modeling
- arxiv url: http://arxiv.org/abs/2604.07209v1
- Date: Wed, 08 Apr 2026 15:31:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 17:30:51.610788
- Title: INSPATIO-WORLD: A Real-Time 4D World Simulator via Spatiotemporal Autoregressive Modeling
- Title（参考訳）: INSPATIO-WORLD:時空間自己回帰モデルによる実時間4次元世界シミュレータ
- Abstract要約: INSPATIO-WORLDは、単一のビデオから高忠実なインタラクティブなシーンを復元し、生成できる新しいリアルタイムフレームワークである。
Implicit Spatiotemporal Cacheは参照と過去の観測結果を潜在世界表現に集約する。
Explicit Space Constraint Moduleは幾何学的構造を強制し、ユーザのインタラクションを正確かつ物理的に可視なカメラ軌道に変換する。
- 参考スコア（独自算出の注目度）: 44.09983529522167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Building world models with spatial consistency and real-time interactivity remains a fundamental challenge in computer vision. Current video generation paradigms often struggle with a lack of spatial persistence and insufficient visual realism, making it difficult to support seamless navigation in complex environments. To address these challenges, we propose INSPATIO-WORLD, a novel real-time framework capable of recovering and generating high-fidelity, dynamic interactive scenes from a single reference video. At the core of our approach is a Spatiotemporal Autoregressive (STAR) architecture, which enables consistent and controllable scene evolution through two tightly coupled components: Implicit Spatiotemporal Cache aggregates reference and historical observations into a latent world representation, ensuring global consistency during long-horizon navigation; Explicit Spatial Constraint Module enforces geometric structure and translates user interactions into precise and physically plausible camera trajectories. Furthermore, we introduce Joint Distribution Matching Distillation (JDMD). By using real-world data distributions as a regularizing guide, JDMD effectively overcomes the fidelity degradation typically caused by over-reliance on synthetic data. Extensive experiments demonstrate that INSPATIO-WORLD significantly outperforms existing state-of-the-art (SOTA) models in spatial consistency and interaction precision, ranking first among real-time interactive methods on the WorldScore-Dynamic benchmark, and establishing a practical pipeline for navigating 4D environments reconstructed from monocular videos.
- Abstract（参考訳）: 空間的一貫性とリアルタイムの対話性を備えた世界モデルの構築は、コンピュータビジョンにおける根本的な課題である。
現在のビデオ生成パラダイムは、空間的持続性の欠如と視覚的リアリズムの欠如に悩まされることが多く、複雑な環境でシームレスなナビゲーションをサポートすることは困難である。
InSPATIO-WORLDは、単一の参照ビデオから高忠実でダイナミックなシーンを復元・生成できる新しいリアルタイムフレームワークである。
Indicit Spatiotemporal Cache aggregates reference and historical observeds to a Latent world representation, secure global consistency during long-horizon navigation; Explicit Spatial Constraint Modules enforces geometry structure and translates user interaction into exact and physically plausible camera trajectories。
さらに,JDMD (Joint Distribution Matching Distillation) を導入する。
実世界のデータ分布を正規化ガイドとして使用することにより、JDMDは、合成データへの過度な依存によって引き起こされる忠実度劣化を効果的に克服する。
大規模な実験により、INSPATIO-WORLDは、空間的一貫性と相互作用精度において既存の最先端(SOTA)モデルを大幅に上回り、WorldScore-Dynamicベンチマークにおけるリアルタイムインタラクティブな手法の中で第1位となり、モノクロビデオから再構成された4D環境をナビゲートするための実用的なパイプラインを確立した。
関連論文リスト
- DyG$^2$T: Modeling Object Dynamics with 3D Gaussian Temporal-Spatial Particle Graph Transformer [86.4618122245946]
DyG$2$Tは動的モデリングフレームワークで、キーポイント表現を空間的に完了し、時間的に識別することでオブジェクトの運動軌跡を推定する。
合成データセットと実世界のデータセットの両方の実験は、DyG$2$Tが正確な動的モデリングと推論を実現することを示した。
論文 参考訳（メタデータ） (2026-08-19T03:44:28Z) - ViPSim: Collaborating Visual and Parameter Spaces for Consistent Long-Horizon Embodied World Models [11.15585863355844]
エンボディード・ワールド・モデル(EWM)は、エンボディード・インテリジェンスを促進するためのスケーラブルでリスクのないパラダイムとして登場した。
EWMは、低次元アクションと高次元ビデオ合成の間の表現ギャップによってしばしば妨げられる。
本稿では,一貫した長軸生成を実現するフレームワークであるViPSimを提案する。
論文 参考訳（メタデータ） (2026-06-27T08:18:09Z) - World2VLM: Distilling World Model Imagination into VLMs for Dynamic Spatial Reasoning [18.658825757342544]
視覚言語モデル (VLM) は静的視覚理解において高い性能を示した。
彼らは今でも、エゴセントリックな動きの下でのシーンの進化を想像する必要がある、ダイナミックな空間的推論に苦慮している。
生成世界モデルから視覚言語モデルに空間的想像力を蒸留するトレーニングフレームワーク World2VLM を提案する。
論文 参考訳（メタデータ） (2026-04-29T17:48:01Z) - Kinematics-Aware Latent World Models for Data-Efficient Autonomous Driving [8.391716372682316]
車両キネマティック情報は観測エンコーダに組み込まれ、物理的に意味のある運動力学における潜伏遷移を基底とする。
ジオメトリ・アウェアの監督は、RSSM潜時状態を規則化し、ピクセル再構成を超えてタスク関連空間構造をキャプチャする。
論文 参考訳（メタデータ） (2026-03-07T15:47:54Z) - RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space [51.441415833480505]
RAYNOVAは、二重因果自己回帰フレームワークを使用するシナリオを駆動するための多視点世界モデルである。
相対的なシャーカー線位置符号化に基づいて、ビュー、フレーム、スケールにまたがる等方的時間的表現を構築する。
論文 参考訳（メタデータ） (2026-02-24T08:41:40Z) - Infinite-World: Scaling Interactive World Models to 1000-Frame Horizons via Pose-Free Hierarchical Memory [101.2076718776139]
複雑な実環境において,1000フレーム以上のコヒーレントな視覚記憶を維持することのできる,堅牢な対話型世界モデルを提案する。
我々は,歴史的潜水剤を固定予算の幾何学的表現に蒸留するpose-free Memory (HPMC)を導入する。
また,連続動作を三状態論理に識別する不確実性認識型アクションラベルモジュールを提案する。
論文 参考訳（メタデータ） (2026-02-02T17:52:56Z) - TeleWorld: Towards Dynamic Multimodal Synthesis with a 4D World Model [53.555353366322464]
我々は,映像生成,動的シーン再構成,長期記憶をクローズドループシステム内で統合するリアルタイム多モード4DワールドモデリングフレームワークTeleWorldを提案する。
提案手法は,動的オブジェクトモデリングと静的シーン表現のシームレスな統合を実現し,現実的でインタラクティブで計算可能な合成システムに向けて世界モデルを推し進める。
論文 参考訳（メタデータ） (2025-12-31T18:31:46Z) - Towards Robust and Generalizable Continuous Space-Time Video Super-Resolution with Events [71.2439653098351]
連続時空ビデオスーパーSTVSRは、高解像度で高フレームのビデオを任意の時間スケールで再構成する能力への関心が高まっている。
EvEnhancerは、イベントストリームにカプセル化された高時間および高ダイナミックレンジのユニークな特性を結合する新しいアプローチである。
提案手法は,OODスケールでの一般化性を維持しつつ,合成および実世界の両方のデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2025-10-04T15:23:07Z) - Learning Primitive Embodied World Models: Towards Scalable Robotic Learning [50.32986780156215]
我々は,世界モデリングのための新しいパラダイム--Primitive Embodied World Models (PEWM)を提案する。
ビデオ生成を固定的な短地平線に制限することにより,ロボット行動の言語概念と視覚的表現の微妙なアライメントを可能にする。
我々のフレームワークは、きめ細かい物理的相互作用と高レベルの推論のギャップを埋め、スケーラブルで解釈可能で汎用的なインテリジェンスへの道を開く。
論文 参考訳（メタデータ） (2025-08-28T14:31:48Z) - TARDIS STRIDE: A Spatio-Temporal Road Image Dataset and World Model for Autonomy [44.85881816317044]
本研究では,360度パノラマ画像を相互接続した観測,状態,行動ノードに変換する方法を示す。
我々は、このデータセットをトランスフォーマーベースの生成ワールドモデルであるTARDISを介してベンチマークする。
我々は、制御可能な画像合成、命令追従、自律的自己制御、最先端のジオレファレンスなど、さまざまなエージェントタスクにおいて、堅牢な性能を示す。
論文 参考訳（メタデータ） (2025-06-12T21:08:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。