論文の概要: Propagating Sparse Depth via Depth Foundation Model for Out-of-Distribution Depth Completion

• arxiv url: http://arxiv.org/abs/2508.04984v1
• Date: Thu, 07 Aug 2025 02:38:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 21:11:55.652133
• Title: Propagating Sparse Depth via Depth Foundation Model for Out-of-Distribution Depth Completion
• Title（参考訳）: アウト・オブ・ディストリビューション・デプス・コンプリートのための深さモデルによるスパース深さの伝搬
• Authors: Shenglun Chen, Xinzhu Ma, Hong Zhang, Haojie Li, Zhihui Wang,
• Abstract要約: 本研究では,大規模トレーニングを伴わずに,深度基礎モデルを利用して顕著な堅牢性を実現する新しい深度補修フレームワークを提案する。 具体的には、深度基盤モデルを用いて、RGB画像から構造的・意味的文脈を含む環境条件を抽出し、疎度情報の欠落領域への伝播を誘導する。 我々のフレームワークはOODシナリオにおいて非常によく機能し、既存の最先端の深度補完手法よりも優れています。
• 参考スコア（独自算出の注目度）: 33.854696587141355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth completion is a pivotal challenge in computer vision, aiming at reconstructing the dense depth map from a sparse one, typically with a paired RGB image. Existing learning based models rely on carefully prepared but limited data, leading to significant performance degradation in out-of-distribution (OOD) scenarios. Recent foundation models have demonstrated exceptional robustness in monocular depth estimation through large-scale training, and using such models to enhance the robustness of depth completion models is a promising solution. In this work, we propose a novel depth completion framework that leverages depth foundation models to attain remarkable robustness without large-scale training. Specifically, we leverage a depth foundation model to extract environmental cues, including structural and semantic context, from RGB images to guide the propagation of sparse depth information into missing regions. We further design a dual-space propagation approach, without any learnable parameters, to effectively propagates sparse depth in both 3D and 2D spaces to maintain geometric structure and local consistency. To refine the intricate structure, we introduce a learnable correction module to progressively adjust the depth prediction towards the real depth. We train our model on the NYUv2 and KITTI datasets as in-distribution datasets and extensively evaluate the framework on 16 other datasets. Our framework performs remarkably well in the OOD scenarios and outperforms existing state-of-the-art depth completion methods. Our models are released in https://github.com/shenglunch/PSD.
• Abstract（参考訳）: 深度完備化はコンピュータビジョンにおける重要な課題であり、疎密な深度マップを、通常ペアのRGB画像で再構築することを目的としている。 既存の学習ベースのモデルは、慎重に準備されているが制限されたデータに依存しており、アウト・オブ・ディストリビューション(OOD)のシナリオで大幅にパフォーマンスが低下する。 最近の基礎モデルでは, 大規模トレーニングによる単分子深度推定において, 例外的なロバスト性を示しており, このようなモデルを用いて深度完成モデルのロバスト性を高めることは, 有望な解決法である。 本研究では,大規模トレーニングを伴わずに,深度基礎モデルを利用して顕著な堅牢性を実現する新しい深度補完フレームワークを提案する。 具体的には、深度基盤モデルを用いて、RGB画像から構造的・意味的文脈を含む環境条件を抽出し、疎度情報の欠落領域への伝播を誘導する。 さらに、3次元空間と2次元空間のスパース深さを効果的に伝播させ、幾何学的構造と局所的整合性を維持するために、学習可能なパラメータを含まない二重空間伝搬法を設計する。 複雑な構造を洗練させるために,学習可能な修正モジュールを導入し,実際の深度に対する深度予測を段階的に調整する。 我々は,NYUv2データセットとKITTIデータセットをインディストリビューションデータセットとしてトレーニングし,他の16データセット上でフレームワークを広範囲に評価する。 我々のフレームワークはOODシナリオにおいて非常によく機能し、既存の最先端の深度補完手法よりも優れています。 私たちのモデルはhttps://github.com/shenglunch/PSD.comでリリースされています。

関連論文リスト

• Distilling Monocular Foundation Model for Fine-grained Depth Completion [17.603217168518356]
  本研究では,深度調整のための2段階の知識蒸留フレームワークを提案する。 第1段階では、自然画像から多様なトレーニングデータを生成し、幾何学的知識を蒸留して深度補正を行う。 第2段階では、実世界のデータセットを微調整する際に、スケールとシフト不変の損失を用いて実世界のスケールを学習する。
  論文  参考訳（メタデータ） (2025-03-21T09:34:01Z)
• Towards Ambiguity-Free Spatial Foundation Model: Rethinking and Decoupling Depth Ambiguity [20.86484181698326]
  決定論的予測に限定された既存のモデルは、現実世界の多層深度を見落としている。 単一予測から多仮説空間基盤モデルへのパラダイムシフトを導入する。
  論文  参考訳（メタデータ） (2025-03-08T02:33:54Z)
• DepthLab: From Partial to Complete [80.58276388743306]
  不足する値は、幅広いアプリケーションにわたる深度データにとって共通の課題である。 この作業は、イメージ拡散プリエントを利用した基礎深度塗装モデルであるDepthLabと、このギャップを埋めるものだ。 提案手法は,3Dシーンのインペイント,テキストから3Dシーン生成,DUST3Rによるスパースビュー再構成,LiDAR深度補完など,様々なダウンストリームタスクにおいて有用であることを示す。
  論文  参考訳（メタデータ） (2024-12-24T04:16:38Z)
• Amodal Depth Anything: Amodal Depth Estimation in the Wild [39.27552294431748]
  アモーダル深度推定は、シーン内の物体の閉塞された(見えない)部分の深さを予測することを目的としている。 本研究では,様々な自然画像におけるモデル一般化を改善するために,相対的深度予測に焦点をあてて,野生におけるアモーダル深度推定の新しい定式化を提案する。 本稿では,Depth Anything V2に基づく決定論的モデルであるAmodal-DAV2と,条件付きフローマッチングの原理を統合する生成モデルであるAmodal-DepthFMの2つの補完的フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-03T09:56:38Z)
• Robust Geometry-Preserving Depth Estimation Using Differentiable Rendering [93.94371335579321]
  我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。 包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。 我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
  論文  参考訳（メタデータ） (2023-09-18T12:36:39Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• Towards Accurate Reconstruction of 3D Scene Shape from A Single Monocular Image [91.71077190961688]
  まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。 次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。 我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-28T16:20:14Z)
• Joint Prediction of Monocular Depth and Structure using Planar and Parallax Geometry [4.620624344434533]
  教師付き学習深度推定法は、LiDARデータのような高品質な地上構造で訓練すると、優れた性能が得られる。 提案手法は,有望な平面とパララックス幾何学パイプラインの構造情報と深度情報を組み合わせたU-Net教師あり学習ネットワークの構築である。 我々のモデルは細い物体と縁の深さ予測に優れており、構造予測ベースラインと比較して、より頑健に機能する。
  論文  参考訳（メタデータ） (2022-07-13T17:04:05Z)
• Improving Depth Estimation using Location Information [0.0]
  本稿では,自己教師型深度学習法の改良を行い,高精度な単眼深度推定を行う。 主なアイデアは、異なるフレームのシーケンスを考慮に入れたディープモデルをトレーニングすることであり、各フレームはその位置情報でタグ付けされる。
  論文  参考訳（メタデータ） (2021-12-27T22:30:14Z)
• Efficient Depth Completion Using Learned Bases [94.0808155168311]
  深度補正のための新しい大域的幾何制約を提案する。 低次元部分空間上によく配置される深さ写像を仮定することにより、高密度深度写像は全解像度の主深度基底の重み付け和で近似することができる。
  論文  参考訳（メタデータ） (2020-12-02T11:57:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。