論文の概要: Future Dynamic 3D Reconstruction: A 3D World Model with Disentangled Ego-Motion
- arxiv url: http://arxiv.org/abs/2606.18250v1
- Date: Tue, 16 Jun 2026 17:59:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.601546
- Title: Future Dynamic 3D Reconstruction: A 3D World Model with Disentangled Ego-Motion
- Title（参考訳）: 未来の動的3次元再構成: 遠方移動エゴ運動を持つ3次元世界モデル
- Authors: Nils Morbitzer, Jonathan Evers, Artem Savkin, Thomas Stauner, Nassir Navab, Federico Tombari, Stefano Gasperini,
- Abstract要約: 本研究では,将来の動的3次元再構成のための3次元潜在表現を予測する世界モデルFR3Dを提案する。
実験では、FR3Dが将来的な動的3D再構成において、複数のデータセットにまたがるモノラルな観察から2秒後まで、強力なパフォーマンスを示す。
- 参考スコア（独自算出の注目度）: 69.61280478695205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Forecasting the evolution of dynamic environments is crucial for autonomous agents. While generative world models have recently achieved high photorealism in 2D video synthesis by mixing ego-motion and environmental dynamics within the image plane, they exhibit physical inconsistencies, such as morphing or vanishing objects, especially over long time horizons. In this paper, we propose FR3D, a world model that predicts a persistent 3D latent representation for future dynamic 3D reconstruction. Unlike prior works that treat the world as a sequence of image-based features, FR3D explicitly decouples the 3D evolution of the scene from the agent's trajectory, treating the inferred ego-motion as a latent proxy for action. This disentanglement resolves the ambiguities between self-motion and world-motion, ensuring geometric consistency into the future. Furthermore, we introduce a teacher-student distillation strategy that leverages the spatial "common sense" of off-the-shelf foundation models, leading to robust zero-shot generalization. Extensive experiments demonstrate FR3D's strong performance for future dynamic 3D reconstruction from monocular observations across multiple datasets, even 2 seconds into the future. Project page: https://fr3d-wm.github.io.
- Abstract（参考訳）: 動的環境の進化を予測することは自律エージェントにとって不可欠である。
生成的世界モデルは近年、画像平面内でのエゴモーションと環境動態を混合することにより、2次元ビデオ合成において高い光リアリズムを達成しているが、特に長時間の地平線において、物体の変形や消滅などの物理的不整合を示す。
本稿では,将来の動的3次元再構成のために,永続的な3次元潜在表現を予測する世界モデルFR3Dを提案する。
FR3Dは、世界をイメージベースの特徴の列として扱う以前の作品とは異なり、エージェントの軌道からシーンの3D進化を明示的に分離し、推論されたエゴモーションを潜在的な行動のプロキシとして扱う。
この絡み合いは、自己運動と世界運動のあいまいさを解消し、未来への幾何的整合性を確保する。
さらに, 既成基礎モデルの空間的「常識」を活かした教師学生蒸留戦略を導入し, 堅牢なゼロショット一般化を実現する。
広範囲な実験により、FR3Dは将来的な動的3D再構成のための強力な性能を示し、複数のデータセットをまたいだ単眼的な観察から、さらに2秒後まで。
プロジェクトページ:https://fr3d-wm.github.io
関連論文リスト
- 3D-Belief: Embodied Belief Inference via Generative 3D World Modeling [37.75852887428672]
我々は,部分的な観察から明確で行動可能な3D信念を推論し,時間とともにオンラインに更新する3Dワールドモデルである3D-Beliefを提示する。
従来の視覚予測モデルとは異なり、3D-Beliefは3Dで直接不確実性を示しており、具体化されたエージェントは、部分的に観察された環境について、もっともらしいシーンの完了と推論を想像することができる。
論文 参考訳（メタデータ） (2026-05-12T00:42:27Z) - Beyond Pixel Histories: World Models with Persistent 3D State [50.4601060508243]
PERSISTは、潜伏した3Dシーンの進化をシミュレートする世界モデルの新たなパラダイムである。
既存の手法に比べて空間記憶,3次元整合性,長期安定性が大幅に向上した。
論文 参考訳（メタデータ） (2026-03-03T19:58:31Z) - StemVLA:An Open-Source Vision-Language-Action Model with Future 3D Spatial Geometry Knowledge and 4D Historical Representation [6.0744834626758495]
StemVLAは、未来の3D空間知識と歴史的4D表現の両方をアクション予測に明示的に組み込む新しいフレームワークである。
我々は,CALVIN ABC-D ベンチマーク [46] において,StemVLA はタスクの長期化と最先端性能を著しく向上し,XXX の平均シーケンス長を達成できることを示した。
論文 参考訳（メタデータ） (2026-02-27T06:43:37Z) - RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space [51.441415833480505]
RAYNOVAは、二重因果自己回帰フレームワークを使用するシナリオを駆動するための多視点世界モデルである。
相対的なシャーカー線位置符号化に基づいて、ビュー、フレーム、スケールにまたがる等方的時間的表現を構築する。
論文 参考訳（メタデータ） (2026-02-24T08:41:40Z) - Terra: Explorable Native 3D World Model with Point Latents [74.90179419859415]
本稿では,本質的な3次元潜伏空間における探索可能な環境を表現・生成する,ネイティブな3次元世界モデルTerraを提案する。
具体的には、3次元入力を潜在点表現に符号化する新しい点対ガウス変分オートエンコーダ(P2G-VAE)を提案する。
次に、潜伏点表現を生成するためのスパース点フローマッチングネットワーク(SPFlow)を導入し、同時に潜伏点の位置と特徴を識別する。
論文 参考訳（メタデータ） (2025-10-16T17:59:56Z) - From 2D to 3D Cognition: A Brief Survey of General World Models [16.121071388463694]
幾何学的に一貫したインタラクティブな3D環境を合成できる3D認識型生成世界モデルが実証されている。
急速な進歩にもかかわらず、この分野は、新しいテクニックを分類し、3D認知世界モデルを進める上での役割を明らかにするための体系的な分析を欠いている。
本調査は,2次元知覚から3次元認知へ移行する世界モデルの構造的,前方視的なレビューを提供する,概念的枠組みを導入することで,このニーズに対処する。
論文 参考訳（メタデータ） (2025-06-25T05:05:09Z) - Learning 3D Persistent Embodied World Models [84.40585374179037]
我々は、以前に生成されたコンテンツの明示的なメモリを備えた、新しい永続的エンボディド・ワールドモデルを導入する。
映像拡散モデルでは, 映像拡散モデルにより, エージェントの今後の観察のRGB-D映像が予測される。
この生成は、環境の永続的な3Dマップに集約される。
論文 参考訳（メタデータ） (2025-05-05T17:59:17Z) - 3D-VLA: A 3D Vision-Language-Action Generative World Model [68.0388311799959]
最近の視覚言語アクション(VLA)モデルは2D入力に依存しており、3D物理世界の広い領域との統合は欠如している。
本稿では,3次元知覚,推論,行動をシームレスにリンクする新しい基礎モデルのファウンデーションモデルを導入することにより,3D-VLAを提案する。
本実験により,3D-VLAは実環境における推論,マルチモーダル生成,計画能力を大幅に向上することが示された。
論文 参考訳（メタデータ） (2024-03-14T17:58:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。