論文の概要: GeometryCrafter: Consistent Geometry Estimation for Open-world Videos with Diffusion Priors

• arxiv url: http://arxiv.org/abs/2504.01016v1
• Date: Tue, 01 Apr 2025 17:58:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 15:43:09.235084
• Title: GeometryCrafter: Consistent Geometry Estimation for Open-world Videos with Diffusion Priors
• Title（参考訳）: GeometryCrafter: 拡散優先度を持つオープンワールドビデオの一貫性幾何推定
• Abstract要約: オープンワールドビデオから時間的コヒーレンスで高忠実度点マップシーケンスを復元する新しいフレームワークであるGeometryCrafterを提案する。 GeometryCrafterは最先端の3D精度、時間的一貫性、一般化能力を実現する。
• 参考スコア（独自算出の注目度）: 47.21120442961684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite remarkable advancements in video depth estimation, existing methods exhibit inherent limitations in achieving geometric fidelity through the affine-invariant predictions, limiting their applicability in reconstruction and other metrically grounded downstream tasks. We propose GeometryCrafter, a novel framework that recovers high-fidelity point map sequences with temporal coherence from open-world videos, enabling accurate 3D/4D reconstruction, camera parameter estimation, and other depth-based applications. At the core of our approach lies a point map Variational Autoencoder (VAE) that learns a latent space agnostic to video latent distributions for effective point map encoding and decoding. Leveraging the VAE, we train a video diffusion model to model the distribution of point map sequences conditioned on the input videos. Extensive evaluations on diverse datasets demonstrate that GeometryCrafter achieves state-of-the-art 3D accuracy, temporal consistency, and generalization capability.
• Abstract（参考訳）: ビデオ深度推定の顕著な進歩にもかかわらず、既存の手法はアフィン不変の予測を通じて幾何学的忠実性を達成するのに固有の限界を示し、再構成やその他の計量的に基礎付けられた下流のタスクに適用性を制限する。 オープンワールドビデオから高忠実度点マップシーケンスを時間的コヒーレンスで復元し,正確な3D/4D再構成,カメラパラメータ推定,その他の深度に基づくアプリケーションを実現する新しいフレームワークであるGeometryCrafterを提案する。 提案手法のコアとなる点マップの変分オートエンコーダ(VAE)は,実効点マップの符号化と復号のために,ビデオの潜時分布に非依存な潜時空間を学習する。 VAEを利用すると、ビデオ拡散モデルをトレーニングし、入力ビデオ上で条件付けられたポイントマップシーケンスの分布をモデル化する。 多様なデータセットに対する大規模な評価は、GeometryCrafterが最先端の3D精度、時間的一貫性、一般化能力を達成したことを示している。

関連論文リスト

• Geometry-Grounded Unified 3D Perception for Autonomous Driving [36.11730832045922]
  カメラベースの自律運転認識には、同期マルチカメラストリーム間のメートル法3D構造を保存する共有表現が必要である。 本稿では、VGGTの再構成指向の潜伏を校正・ストリーミング駆動シーンに適応させる、幾何グラウンドの統一3次元知覚フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-13T12:17:50Z)
• SCOPE: Scale-Consistent One-Pass Estimation of 3D Geometry [69.89196162649091]
  SCOPE (Scale-Consistent One-Pass Estimation of 3D Geometry) は、拡張された単眼ビデオシーケンスから3次元幾何学を推定するための新しいアプローチである。 提案手法では,アフィン不変な3次元点マップを全列に共通パラメータで生成し,一貫したスケール不変表現を実現する。
  論文  参考訳（メタデータ） (2026-06-19T10:23:25Z)
• VideoWeave: Unlocking Geometric Consistency in Video Generation via Joint Geometry-Video Modeling [49.98112719317813]
  ビデオ拡散モデルは、時間とともに3D構造を保存できないことが多い。 既存の手法は通常、明示的な幾何再構成を用いて幾何整合を強制する。 我々は,暗黙的幾何モデルを用いて生成分布を制約する潜在空間後学習フレームワークであるVideoWeaveを提案する。
  論文  参考訳（メタデータ） (2026-06-12T06:41:13Z)
• Towards Consistent Video Geometry Estimation [43.41144311719224]
  ViGeoは、ビデオシーケンスから空間的に密度が高く時間的に一貫した幾何を復元するためのフィードフォワード基礎モデルである。 統合モデル内でのストリーミング、フルシーケンス、ロングビデオ推論をサポートする。 ViGeoは、オンライン、オフライン、ロングビデオの深さ推定、表面正規推定、ビデオポイントマップ推定など、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-05-28T15:11:17Z)
• Geometric Context Transformer for Streaming 3D Reconstruction [51.19524805829903]
  LingBot-Mapは、ストリーミングデータからシーンを再構築するためのフィードフォワード3Dファウンデーションモデルである。 LingBot-Mapの定義的な側面は、アンカーコンテキスト、ポーズ参照ウィンドウ、トラジェクトリメモリを統合した、慎重に設計されたアテンションメカニズムにある。 この設計は、リッチな幾何学的コンテキストを維持しながら、ストリーミング状態をコンパクトに保ち、518 x 378の解像度入力に対して、20FPS程度の安定した効率的な推論を可能にする。
  論文  参考訳（メタデータ） (2026-04-15T17:58:13Z)
• Geometry-Aware Rotary Position Embedding for Consistent Video World Model [48.914346802616414]
  ViewRopeは、ビデオトランスフォーマーの自己アテンション層に直接カメラの方向を注入するジオメトリ対応のエンコーディングである。 Geometry-Aware Frame-Sparse Attentionは、これらの幾何学的手がかりを利用して、関連する歴史的なフレームに選択的に参加する。 この結果から,ViewRopeは長期的整合性を大幅に向上し,計算コストを低減できることがわかった。
  論文  参考訳（メタデータ） (2026-02-08T08:01:16Z)
• GeoVideo: Introducing Geometric Regularization into Video Generation Model [46.38507581500745]
  フレームごとの深度予測による潜時拡散モデルの拡大により,ビデオ生成に幾何正則化損失を導入する。 本手法は, 外観生成と3次元構造モデリングのギャップを埋めることにより, 構造的コヒーレンス・時間的形状, 整合性, 物理的妥当性が向上する。
  論文  参考訳（メタデータ） (2025-12-03T05:11:57Z)
• WorldMirror: Universal 3D World Reconstruction with Any-Prior Prompting [51.69408870574092]
  汎用的な3次元幾何予測タスクのためのオールインワンフィードフォワードモデルであるWorldMirrorを提案する。 我々のフレームワークは、カメラのポーズ、内在性、深度マップなど、様々な幾何学的先入観を柔軟に統合する。 WorldMirrorは、カメラ、ポイントマップ、深さ、表面正規推定から新しいビュー合成に至るまで、さまざまなベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-10-12T17:59:09Z)
• Dens3R: A Foundation Model for 3D Geometry Prediction [44.13431776180547]
  Dens3Rは幾何学的密度予測のための3次元基礎モデルである。 画像対マッチング機能と本質的不変性モデリングを統合することにより、Dens3Rは複数の幾何学的量を正確に回帰する。
  論文  参考訳（メタデータ） (2025-07-22T07:22:30Z)
• Geometry Forcing: Marrying Video Diffusion and 3D Representation for Consistent World Modeling [29.723534231743038]
  本稿では,映像拡散モデルと物理世界の3次元的性質のギャップを埋めるために,幾何学的強制法を提案する。 我々の重要な洞察は、事前訓練された幾何学基礎モデルの特徴と整列することで、モデル中間表現を幾何学的構造へ導くことである。 我々は、カメラビューコンディショニングとアクションコンディショニングの両方のビデオ生成タスクにおいて、Geometry Forcingを評価する。
  論文  参考訳（メタデータ） (2025-07-10T17:55:08Z)
• UniGeo: Taming Video Diffusion for Unified Consistent Geometry Estimation [63.90470530428842]
  本研究では、適切な設計と微調整により、ビデオ生成モデルの本質的な一貫性を一貫した幾何推定に有効に活用できることを実証する。 その結果,ビデオのグローバルな幾何学的属性の予測性能が向上し,再構成作業に直接適用できることがわかった。
  論文  参考訳（メタデータ） (2025-05-30T12:31:59Z)
• CVCP-Fusion: On Implicit Depth Estimation for 3D Bounding Box Prediction [2.0375637582248136]
  Cross-View Center Point-Fusionは、3Dオブジェクト検出を行う最先端モデルである。 我々のアーキテクチャは、以前に確立されたアルゴリズム、クロスビュートランスフォーマー、CenterPointのアスペクトを利用する。
  論文  参考訳（メタデータ） (2024-10-15T02:55:07Z)
• DoubleTake: Geometry Guided Depth Estimation [17.464549832122714]
  RGB画像の列から深度を推定することは、基本的なコンピュータビジョンタスクである。 本稿では,現在のカメラ位置から深度マップとして描画された,ボリューム特徴と先行幾何学のヒントを組み合わせた再構成手法を提案する。 本手法は, オフライン・インクリメンタルな評価シナリオにおいて, 対話的な速度, 最先端の深度推定, および3次元シーンで動作可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-26T14:29:05Z)
• COMO: Compact Mapping and Odometry [17.71754144808295]
  我々は3次元アンカー点のコンパクトな集合を通して密度幾何学を符号化する実時間単分子マッピングおよびオドメトリーシステムであるCOMOを提案する。 この表現は、カメラポーズと密な幾何学、本質的な3次元一貫性、効率的な2階推論の合同最適化を可能にする。
  論文  参考訳（メタデータ） (2024-04-04T15:35:43Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency [114.02182755620784]
  本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。 筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
  論文  参考訳（メタデータ） (2021-02-04T14:26:42Z)
• Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
  一つのビデオから多視点深度を推定する新しい手法を提案する。 提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。 最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-26T04:04:21Z)
• Consistent Video Depth Estimation [57.712779457632024]
  モノクロ映像中の全画素に対して, 密度, 幾何的に整合した深度を再構成するアルゴリズムを提案する。 動画中の画素の幾何的制約を確立するために、従来の動きから再構成した構造を利用する。 我々のアルゴリズムは、手持ちの映像をある程度のダイナミックな動きで処理することができる。
  論文  参考訳（メタデータ） (2020-04-30T17:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。