論文の概要: GeoState: Learning View-Decoupled Geometry States for 3D World Modeling
- arxiv url: http://arxiv.org/abs/2610.22343v1
- Date: Thu, 15 Oct 2026 17:56:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.273581
- Title: GeoState: Learning View-Decoupled Geometry States for 3D World Modeling
- Title(参考訳): GeoState: 3次元世界モデリングのためのビュー分離幾何状態の学習
- Abstract要約: GeoStateは3次元世界モデリングのためのビュー分離幾何表現である。
シーントークン化器は、多視点GFM機能をビュー分離されたシーン状態に集約する。
自動回帰世界モデルは将来のシーン状態を予測し、カメラの動きは別々にモデル化する。
- 参考スコア(独自算出の注目度): 32.75703919670841
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent 3D world models increasingly use features from geometry foundation models (GFMs) as predictive world states, benefiting from their rich geometric priors. However, the view dependence of these features entangles scene dynamics with camera-induced variation, making the resulting state evolution harder to predict. We propose GeoState, a view-decoupled geometry representation for predictive 3D world modeling that separates scene-state evolution from camera-dependent observation. Specifically, a scene tokenizer aggregates multi-view GFM features into a view-decoupled scene state, which a geometry decoder queries using camera rays. An autoregressive world model then predicts future scene states, while camera motion is modeled separately. The predicted states can therefore be decoded under either predicted or externally specified cameras, while retaining a single context-derived scale throughout the rollout without per-frame scale alignment. Experiments show that GeoState outperforms prior 3D world models on Waymo, supports geometrically consistent cross-view querying, and generalizes zero-shot to KITTI and nuScenes. Project page: https://hongchang-liu.github.io/GeoState-project-page/
- Abstract(参考訳): 近年の3D世界モデルは、幾何基礎モデル(GFM)の機能を予測的世界状態として利用し、そのリッチな幾何学的先行状態から恩恵を受けている。
しかし、これらの特徴の視点依存性は、カメラが引き起こす変動とシーンダイナミクスを絡み合わせることで、その結果の状態を予測しにくくする。
カメラ依存観察からシーン状態の進化を分離する3次元世界モデリングのためのビュー分離幾何表現であるGeoStateを提案する。
具体的には、シーントークンーザは、多視点GFM機能をビューデカップリングされたシーン状態に集約し、カメラ線を用いてジオメトリデコーダクエリを行う。
自動回帰世界モデルは将来のシーン状態を予測し、カメラの動きは別々にモデル化する。
したがって、予測状態は予測または外部指定のカメラでデコードでき、フレーム単位のスケールアライメントなしにロールアウト全体を通して単一のコンテキスト依存のスケールを保持することができる。
実験によると、GeoStateはWaymoの3Dワールドモデルよりも優れており、幾何学的に一貫したクロスビュークエリをサポートし、ゼロショットをKITTIやnuScenesに一般化している。
プロジェクトページ:https://hongchang-liu.github.io/GeoState-project-page/
関連論文リスト
- Orbia: Do Generated Videos Form a Consistent 3D World? [101.24452875624782]
ビデオジェネレータは、探索とシミュレーションのためのインタラクティブな世界として機能するが、現実的で視覚的に魅力的なフレームは、必ずしも一貫した3D世界を描写しない。
インタラクティブな世界モデルにおける3D一貫性の体系的かつ包括的な評価を目的とした最初のベンチマークであるOrbiaを紹介する。
論文 参考訳(メタデータ) (2026-10-14T17:59:53Z) - MVG-WAM: Multiple View Geometry-Aware World-Action Modeling for Robotic Manipulation [21.13535293799409]
MVG-WAM(Multi-View Geometry-Aware World-Action Model)を紹介する。
我々のモデルでは、極性に制約された大局的な状態と、同期された観測から同時推論されたビューインデクシングされた状態を組み合わせる。
MVG-WAMは、LIBEROで99.1%、RoboTwin 2.0で92.07%という平均的な成功率を達成した。
論文 参考訳(メタデータ) (2026-09-29T15:20:59Z) - 4DGS-WAM: Bridging Past and Future with an Object-Centric World Action Model based on 4D Gaussian Splatting [72.02343855552051]
現在の世界アクションモデル(WAM)は2次元の視覚データを扱うのが一般的である。
動的オブジェクトとシーンの静的背景を別々にモデル化した,明示的な4Dガウススティング(4DGS)表現を利用する。
4DGS-WAMは2次元観察を永続的な4次元表現に上げ、将来の予測で観測済みの静的コンテンツを再利用できるようにする。
論文 参考訳(メタデータ) (2026-08-26T16:16:57Z) - Marionette: Predicting World States, Rendering Geometry, Painting Appearance [30.170848813370444]
われわれはこのアイデアを,対話型ゲームと明瞭なキャラクタを持つ世界モデルであるMarionetteとしてインスタント化する。
二段階自己回帰力学モデルは、明示的で解釈可能な276次元の3次元世界状態を予測する。
制御条件付きビデオ拡散観測モデルは、結果として得られる制御からフォトリアリスティックなRGB観測を合成する。
論文 参考訳(メタデータ) (2026-08-14T17:48:16Z) - Quantitative Video World Model Evaluation for Geometric-Consistency [18.53748808467407]
生成ビデオモデルは暗黙の世界モデルとしてますます研究されている。
物理的に妥当な3D構造と動きを創出するかどうかを評価することは依然として困難である。
生成ビデオにおける幾何コヒーレンスを監査するフレームワークであるPDI-Benchを紹介する。
論文 参考訳(メタデータ) (2026-05-14T17:59:04Z) - WorldMirror: Universal 3D World Reconstruction with Any-Prior Prompting [51.69408870574092]
汎用的な3次元幾何予測タスクのためのオールインワンフィードフォワードモデルであるWorldMirrorを提案する。
我々のフレームワークは、カメラのポーズ、内在性、深度マップなど、様々な幾何学的先入観を柔軟に統合する。
WorldMirrorは、カメラ、ポイントマップ、深さ、表面正規推定から新しいビュー合成に至るまで、さまざまなベンチマークで最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2025-10-12T17:59:09Z) - Continuous 3D Perception Model with Persistent State [111.83854602049222]
広い範囲の3Dタスクを解くことができる統一的なフレームワークを提案する。
我々のアプローチでは、新しい観測毎に状態表現を継続的に更新するステートフルなリカレントモデルが特徴である。
各種3D/4Dタスクにおける本手法の評価を行い,各課題における競合性や最先端性能を実証する。
論文 参考訳(メタデータ) (2025-01-21T18:59:23Z) - Visual Localization using Imperfect 3D Models from the Internet [54.731309449883284]
本稿では,3次元モデルにおける欠陥が局所化精度に与える影響について検討する。
インターネットから得られる3Dモデルは、容易に表現できるシーン表現として有望であることを示す。
論文 参考訳(メタデータ) (2023-04-12T16:15:05Z) - Persistent Nature: A Generative Model of Unbounded 3D Worlds [74.51149070418002]
任意のカメラポーズから3Dデコーダとボリュームレンダリングによって描画できる拡張可能な平面配置グリッドを提案する。
この表現に基づいて、単一視点のインターネット写真のみから生成的世界モデルを学ぶ。
提案手法は,現在の3次元生成モデルの固定境界を超えるシーン外挿を可能にするとともに,永続的でカメラに依存しない世界表現をサポートする。
論文 参考訳(メタデータ) (2023-03-23T17:59:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。