論文の概要: GemDepth: Geometry-Embedded Features for 3D-Consistent Video Depth

• arxiv url: http://arxiv.org/abs/2605.10525v2
• Date: Tue, 12 May 2026 07:16:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 18:21:07.129261
• Title: GemDepth: Geometry-Embedded Features for 3D-Consistent Video Depth
• Title（参考訳）: GemDepth: 3D-Consistent Video Depthのための幾何学的埋め込み機能
• Authors: Yuecheng Liu, Junda Cheng, Longliang Liu, Wenjing Liao, Hanrui Cheng, Yuzhou Wang, Xin Yang,
• Abstract要約: ビデオ深度推定は、一眼的予測を時間領域に拡張し、コヒーレンスを確保する。 現在のアプローチは主にトランスフォーマーによる時間的平滑化に依存しており、厳密な3次元幾何学的整合性を維持するのに苦労している。 GemDepthは,カメラモーションとグローバル3D構造を明確に認識することが3D一貫性の前提条件である,という知見に基づいて構築されたフレームワークである。
• 参考スコア（独自算出の注目度）: 12.866152238833104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video depth estimation extends monocular prediction into the temporal domain to ensure coherence. However, existing methods often suffer from spatial blurring in fine-detail regions and temporal inconsistencies. We argue that current approaches, which primarily rely on temporal smoothing via Transformers, struggle to maintain strict 3D geometric consistency-particularly under rotations or drastic view changes. To address this, we propose GemDepth, a framework built on the insight that an explicit awareness of camera motion and global 3D structure is a prerequisite for 3D consistency. Distinctively, GemDepth introduces a Geometry-Embedding Module (GEM) that predicts inter-frame camera poses to generate implicit geometric embeddings. This injection of motion priors equips the network with intrinsic 3D perception and alignment capabilities. Guided by these geometric cues, our Alternating Spatio-Temporal Transformer (ASTT) captures latent point-level correspondences to simultaneously enhance spatial precision for sharp details and enforce rigorous temporal consistency. Furthermore, GemDepth employs a data-efficient training strategy, effectively bridging the gap between high efficiency and robust geometric consistency. As shown in Fig.2, comprehensive evaluations demonstrate that GemDepth achieves state-of-the-art performance across multiple datasets, particularly in complex dynamic scenarios. The code is publicly available at: https://github.com/Yuecheng919/GemDepth.
• Abstract（参考訳）: ビデオ深度推定は、一眼的予測を時間領域に拡張し、コヒーレンスを確保する。 しかし,既存の手法は細部領域の空間的ぼやけや時間的不整合に悩まされることが多い。 変換器による時間的平滑化に主に依存する現在のアプローチは、特に回転や劇的な視点の変化の下で、厳密な3次元の幾何的整合性を維持するのに苦労している。 そこで我々は,カメラの動きとグローバルな3D構造を明確に認識することが,3D一貫性の前提条件である,という知見に基づいて構築されたGemDepthを提案する。 GemDepthは、フレーム間カメラのポーズを予測して暗黙的な幾何学的埋め込みを生成するGeometry-Embedding Module (GEM)を導入した。 この動き優先の注入は、本質的な3D知覚とアライメント能力を備えたネットワークに装備する。 これらの幾何学的手がかりに導かれ、本誌の Alternating Spatio-Temporal Transformer (ASTT) は、静止点レベルの対応を捉え、鮮明な詳細の空間的精度を同時に向上し、厳密な時間的整合性を強制する。 さらに、GemDepthはデータ効率のトレーニング戦略を採用し、高い効率性と堅牢な幾何学的整合性の間のギャップを効果的に埋める。 図2に示すように、GemDepthは複数のデータセット、特に複雑な動的シナリオにおいて、最先端のパフォーマンスを実現している。 コードは、https://github.com/Yuecheng919/GemDepth.comで公開されている。

関連論文リスト

• GeoRect4D: Geometry-Compatible Generative Rectification for Dynamic Sparse-View 3D Reconstruction [16.448484686109992]
  マルチビュービデオからダイナミックな3Dシーンを再構築することは、しばしば幾何学的な崩壊、軌道のドリフト、浮き彫りのアーティファクトに繋がる、非常に不適切である。 最近の試みでは、欠落したコンテンツに幻覚を与える遺伝子前駆体を導入しているが、ナイーブな統合はしばしば構造的ドリフトと時間的不整合を引き起こす。 そこで本稿では, 疎視動的再構成のための新しい統合フレームワークであるGeoRect4Dを提案する。
  論文  参考訳（メタデータ） (2026-04-22T17:12:02Z)
• Geometry-Aware Rotary Position Embedding for Consistent Video World Model [48.914346802616414]
  ViewRopeは、ビデオトランスフォーマーの自己アテンション層に直接カメラの方向を注入するジオメトリ対応のエンコーディングである。 Geometry-Aware Frame-Sparse Attentionは、これらの幾何学的手がかりを利用して、関連する歴史的なフレームに選択的に参加する。 この結果から,ViewRopeは長期的整合性を大幅に向上し,計算コストを低減できることがわかった。
  論文  参考訳（メタデータ） (2026-02-08T08:01:16Z)
• GeoVideo: Introducing Geometric Regularization into Video Generation Model [46.38507581500745]
  フレームごとの深度予測による潜時拡散モデルの拡大により,ビデオ生成に幾何正則化損失を導入する。 本手法は, 外観生成と3次元構造モデリングのギャップを埋めることにより, 構造的コヒーレンス・時間的形状, 整合性, 物理的妥当性が向上する。
  論文  参考訳（メタデータ） (2025-12-03T05:11:57Z)
• POMATO: Marrying Pointmap Matching with Temporal Motion for Dynamic 3D Reconstruction [53.19968902152528]
  POMATOは時間運動と一致する点マップを結合して動的3次元再構成を実現するための統合フレームワークである。 具体的には,RGB画素を動的および静的の両方の領域から3次元ポイントマップにマッピングすることで,明示的なマッチング関係を学習する。 本稿では,複数の下流タスクにまたがる顕著な性能を示すことによって,提案したポイントマップマッチングと時間融合のパラダイムの有効性を示す。
  論文  参考訳（メタデータ） (2025-04-08T05:33:13Z)
• Graph and Skipped Transformer: Exploiting Spatial and Temporal Modeling Capacities for Efficient 3D Human Pose Estimation [36.93661496405653]
  我々は、簡潔なグラフとSkipped Transformerアーキテクチャを用いて、Transformer-temporal情報を活用するためのグローバルなアプローチを採っている。 具体的には、3Dポーズの段階では、粗粒の体部が展開され、完全なデータ駆動適応モデルが構築される。 実験はHuman3.6M、MPI-INF-3DHP、Human-Evaベンチマークで行われた。
  論文  参考訳（メタデータ） (2024-07-03T10:42:09Z)
• Dynamic 3D Point Cloud Sequences as 2D Videos [81.46246338686478]
  3Dポイントクラウドシーケンスは、現実世界の環境における最も一般的で実用的な表現の1つとして機能する。 textitStructured Point Cloud Videos (SPCV) と呼ばれる新しい汎用表現を提案する。 SPCVは点雲列を空間的滑らかさと時間的一貫性を持つ2Dビデオとして再編成し、画素値は点の3D座標に対応する。
  論文  参考訳（メタデータ） (2024-03-02T08:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。