論文の概要: Causal Spatiotemporal State Evolution for Monocular 4D Reconstruction
- arxiv url: http://arxiv.org/abs/2610.27594v1
- Date: Tue, 20 Oct 2026 04:00:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.626615
- Title: Causal Spatiotemporal State Evolution for Monocular 4D Reconstruction
- Title(参考訳): 単眼4次元再建術における因果時空間状態の進化
- Abstract要約: 単眼ビデオからの因果4次元視覚幾何学学習のためのフィードフォワードフレームワークを提案する。
Causalpatiotemporal Mambaは、時間的アグリゲーションを方向性状態の伝播で強化する。
Unified Motion Supervisionはフレーム間の状態遷移を制約し、フレーム間の安定した状態の伝搬を可能にする。
- 参考スコア(独自算出の注目度): 5.389772851860212
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While feed-forward models excel in static 3D geometry estimation, extending them to dynamic 4D scenes requires modeling visual geometry as a causally evolving state. Current methods typically rely on unordered temporal aggregation, which lacks the directional structure of physical time. Furthermore, existing supervision often treats geometry and motion as disjoint objectives, failing to exploit their inherent physical coupling. Consequently, they lack a unified constraint to effectively supervise temporal state transitions, leading to inconsistent 4D scene representations. To address this, we propose a feed-forward framework for causal 4D visual geometry learning from monocular videos. At its core, Causal Spatiotemporal Mamba augments temporal aggregation with directional state propagation. Through complementary Temporal-Spatial and Spatial-Temporal Scans, CSM continuously propagates geometry-aware states across frames to model spatiotemporal evolution. To align this causal state evolution with observable dynamics, we introduce Unified Motion Supervision. Rather than treating motion as an independent objective, UMS leverages geometry-aware predictions from the camera and depth heads to construct a unified forward motion field that is consistent with the underlying 3D structure. This geometry-grounded supervision explicitly constrains inter-frame state transitions, enabling stable states propagation across frames. Extensive evaluations on dynamic benchmarks demonstrate state-of-the-art performance across video depth, camera pose, and optical flow estimation. These results validate that the synergy between the directional state propagation of Causal Spatiotemporal Mamba and Unified Motion Supervision effectively captures continuous scene evolution, significantly reducing temporal drift and reinforcing spatial-temporal consistency in 4D representation learning.
- Abstract(参考訳): フィードフォワードモデルは静的な3次元形状推定において優れているが、ダイナミックな4次元シーンに拡張するには視覚幾何学を因果進化状態としてモデル化する必要がある。
現在の手法は、典型的には、物理的時間の方向構造が欠如している、順序のない時間的集約に依存している。
さらに、既存の監督機関は、しばしば幾何学と運動を相反する目的として扱い、それら固有の物理的結合を利用できない。
その結果、時間的状態遷移を効果的に監視するための統一的な制約が欠如し、一貫性のない4Dシーン表現につながった。
そこで本研究では,モノクロ映像からの因果的4次元視覚幾何学学習のためのフィードフォワードフレームワークを提案する。
Causal Spatiotemporal Mambaは、時間的アグリゲーションを方向性状態の伝播で強化する。
CSMは、時間空間と空間空間を補足することで、フレーム間の幾何学的認識状態を継続的に伝播させ、時空間進化をモデル化する。
この因果状態の進化を観測可能な力学と整合させるため、統一運動スーパービジョンを導入する。
UMSは、動きを独立した目的として扱うのではなく、カメラと深度ヘッドからの幾何学的認識の予測を利用して、基礎となる3次元構造と整合した統一された前方運動場を構築する。
この幾何学的な監督は、フレーム間の状態遷移を明示的に制限し、フレーム間の安定した状態の伝播を可能にする。
ダイナミックベンチマークの大規模な評価は、ビデオ深度、カメラポーズ、光学フロー推定における最先端性能を示す。
これらの結果は, 4次元表現学習において, 時間的ドリフトを著しく低減し, 空間的時間的一貫性の強化を図り, 連続的なシーンの進化を効果的にとらえる上で, 因果時空間マンバと統一運動スーパービジョンの方向性状態伝播の相乗効果を検証した。
関連論文リスト
- RayCo4D: Ray-Conditioned Continuous Motion Model for Monocular 4D Dynamic Reconstruction [6.654245563381326]
単分子4次元再構成のための光条件連続運動モデル
多様な単分子動的シーンの実験により、RayCo4Dは競合する新規な合成品質を達成することが示された。
論文 参考訳(メタデータ) (2026-10-20T15:17:29Z) - ChronoWorld: Camera-Controlled Consistent 4D World Generation via Spatiotemporal Cues and Geometric Reflections [46.54937682514625]
ChronoWorldは"状態観察"フレームワークで、因果的、時間的、再構築の事前を利用して、一貫したフリービュー4Dシーンを生成する。
動的自己極性反射と生成した出力の補正を可能にする4次元検索戦略を用いた再構成駆動幾何反射法を開発した。
論文 参考訳(メタデータ) (2026-10-05T16:51:30Z) - Geometry-Aware Spatio-Temporal Context Modeling for 4D Occupancy Forecasting [45.44434144383036]
本研究では、4次元占有予測のための幾何学的空間空間的文脈モデリング手法(GAST)を提案する。
具体的には、生成モジュールは、高い幾何学的忠実度と意味的妥当性を有するフレーム単位の占有率を生成する。
Occ3D-nusの実験は、我々の手法の優位性を示し、mIoUが7.67%、IoUが6.44%、スピードアップが2.84倍である。
論文 参考訳(メタデータ) (2026-08-15T15:22:29Z) - SM4RT: Learning Structured Motion Geometry for 4D Reconstruction [67.18230176143263]
既存の運動知覚法の多くは、運動を物理的運動の構造的性質を無視して、独立な点方向の変位として扱う。
終端から終端までの3次元再構成と構造化された動き知覚のための構造化モーション4D再構成変換器SM4RTを提案する。
SM4RTは、シーンモーションの幾何学的構造を保ちながら、強い動き再構成性能を達成する。
論文 参考訳(メタデータ) (2026-07-24T17:59:51Z) - IGGT4D: Streaming 4D Instance-Grounded Geometry Transformer [64.5765465030666]
オンライン4Dシーン理解のためのストリーミングインスタンスグラウンド幾何変換器IGGT4Dを提案する。
IGGT4Dは、ビデオフレームを逐次処理し、因果時空間モデリングを通じて歴史的コンテキストを再利用し、カメラモーション、幾何学、オブジェクトアイデンティティの統一表現を漸進的に更新する。
3次元再構成、ポーズ推定、例空間追跡、オープンボキャブラリセグメンテーションの実験は、IGGT4Dが既存のストリーミングベースラインより優れていることを示した。
論文 参考訳(メタデータ) (2026-07-21T16:00:01Z) - MotionScale: Reconstructing Appearance, Geometry, and Motion of Dynamic Scenes with Scalable 4D Gaussian Splatting [54.859943475818234]
MotionScaleは、4Dガウススティングフレームワークで、大きなシーンや拡張シーケンスに効率よくスケールする。
挑戦的な実世界のベンチマークの実験では、MotionScaleは復元品質と時間的安定性の両方において最先端の手法を大きく上回っている。
論文 参考訳(メタデータ) (2026-03-31T06:03:59Z) - Catalyst4D: High-Fidelity 3D-to-4D Scene Editing via Dynamic Propagation [51.4527986348543]
高品質な3D編集を動的4Dガウスシーンに転送するフレームワークであるCatalyst4Dを紹介する。
AMGは、オリジナルのガウスアンと編集されたガウスアンの両方から、構造的に安定で空間的に代表的なアンカーのセットを構築している。
CUARは、ガウス色当たりの不確かさを推定することにより、時間的外観整合性を維持する。
論文 参考訳(メタデータ) (2026-03-13T08:10:27Z) - SplitGaussian: Reconstructing Dynamic Scenes via Visual Geometry Decomposition [14.381223353489062]
textbfSplitGaussianは、シーン表現を静的および動的コンポーネントに明示的に分解する新しいフレームワークである。
SplitGaussianは、レンダリング品質、幾何学的安定性、動き分離において、最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2025-08-06T09:00:13Z) - EMoTive: Event-guided Trajectory Modeling for 3D Motion Estimation [59.33052312107478]
イベントカメラは、シーン変化に対する連続的適応ピクセルレベル応答による3次元モーション推定の可能性を提供する。
本稿では,イベント誘導パラメトリック曲線を用いた一様軌道をモデル化するイベントベースフレームワークであるEMoveについて述べる。
動作表現には,事象誘導下での空間的特徴と時間的特徴を融合する密度認識適応機構を導入する。
最終3次元運動推定は、パラメトリック軌道、流れ、深度運動場の多時間サンプリングによって達成される。
論文 参考訳(メタデータ) (2025-03-14T13:15:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。