論文の概要: Refinement of Monocular Depth Maps via Multi-View Differentiable Rendering

• arxiv url: http://arxiv.org/abs/2410.03861v2
• Date: Wed, 03 Sep 2025 13:51:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 21:40:46.194013
• Title: Refinement of Monocular Depth Maps via Multi-View Differentiable Rendering
• Title（参考訳）: 多視点微分レンダリングによる単眼深度マップの微細化
• Authors: Laura Fink, Linus Franke, Bernhard Egger, Joachim Keinert, Marc Stamminger,
• Abstract要約: 現在の最先端のモノクル深度推定器は、広範囲なデータセットで訓練され、よく一般化されているが、多くのアプリケーションに必要な3D一貫性が欠如している。 本稿では,これらの一般化単分子深度推定手法の強度を多視点データと組み合わせ,これを解析・合成最適化問題としてフレーミングする。 提案手法は,室内シナリオの難易度においても,詳細な,高品質なビュー一貫性のある,正確な深度マップを生成でき,また,そのようなデータセット上での最先端のマルチビュー深度再構成手法よりも優れる。
• 参考スコア（独自算出の注目度）: 6.372979654151044
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Accurate depth estimation is at the core of many applications in computer graphics, vision, and robotics. Current state-of-the-art monocular depth estimators, trained on extensive datasets, generalize well but lack 3D consistency needed for many applications. In this paper, we combine the strength of those generalizing monocular depth estimation techniques with multi-view data by framing this as an analysis-by-synthesis optimization problem to lift and refine such relative depth maps to accurate error-free depth maps. After an initial global scale estimation through structure-from-motion point clouds, we further refine the depth map through optimization enforcing multi-view consistency via photometric and geometric losses with differentiable rendering of the meshed depth map. In a two-stage optimization, scaling is further refined first, and afterwards artifacts and errors in the depth map are corrected via nearby-view photometric supervision. Our evaluation shows that our method is able to generate detailed, high-quality, view consistent, accurate depth maps, also in challenging indoor scenarios, and outperforms state-of-the-art multi-view depth reconstruction approaches on such datasets. Project page and source code can be found at https://lorafib.github.io/ref_depth/.
• Abstract（参考訳）: 正確な深さ推定は、コンピュータグラフィックス、ビジョン、ロボット工学における多くのアプリケーションの中核にある。 現在の最先端のモノクル深度推定器は、広範囲なデータセットで訓練され、よく一般化されているが、多くのアプリケーションに必要な3D一貫性が欠如している。 本稿では,これらの単眼深度推定手法の強度を多視点データと組み合わせ,これを解析・合成最適化問題とみなし,それらの相対深度マップを正確な誤差のない深度マップに引き上げ・洗練する。 移動点雲による最初の大域的スケール推定の後、メッシュ化された深度マップの異なるレンダリングにより、測光および幾何的損失による多視点一貫性の最適化により、深度マップをさらに洗練する。 2段階の最適化では、まずスケーリングを改良し、その後、深度マップのアーティファクトとエラーを近くの視光度監督によって修正する。 評価の結果,本手法は,室内シナリオの難易度において,詳細な,高品質,一貫した,正確な深度マップを生成でき,また,これらのデータセット上での最先端の多視点深度再構成手法よりも優れていることがわかった。 プロジェクトページとソースコードはhttps://lorafib.github.io/ref_depth/.comで見ることができる。

関連論文リスト

• Constraining Depth Map Geometry for Multi-View Stereo: A Dual-Depth Approach with Saddle-shaped Depth Cells [23.345139129458122]
  同じ深度予測誤差を用いても、異なる深度ジオメトリには大きな性能ギャップがあることが示される。 サドル形状のセルからなる理想的な深度幾何学を導入し, 予測深度マップは地表面を上下に振動する。 また,本手法は,MVSにおける深度幾何学の新たな研究方向を示す。
  論文  参考訳（メタデータ） (2023-07-18T11:37:53Z)
• TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering [54.35405028643051]
  スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。 提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。 我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
  論文  参考訳（メタデータ） (2023-03-27T10:07:52Z)
• VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
  本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。 ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。 異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-08-19T11:33:58Z)
• Monocular Depth Parameterizing Networks [15.791732557395552]
  実現可能な形状を持つ深度マップの集合のパラメータ化を提供するネットワーク構造を提案する。 これにより、他の画像に関して、写真に一貫性のあるソリューションの形状を検索できる。 実験により,本手法はより正確な深度マップを生成し,競合する最先端手法よりも一般化することを示す。
  論文  参考訳（メタデータ） (2020-12-21T13:02:41Z)
• Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for 3D Reconstruction [12.728154351588053]
  マルチビュー画像から3次元再構成を行うための効率的なマルチビューステレオ(MVS)ネットワークを提案する。 高分解能深度を実現するために粗粒度深度推論戦略を導入する。
  論文  参考訳（メタデータ） (2020-11-25T13:34:11Z)
• Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
  カラービデオから多フレーム深度を推定する新しい学習手法を提案する。 本手法は深度推定精度において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-04-02T07:10:45Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)
• OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems [88.41004332322788]
  超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。 より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。 我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
  論文  参考訳（メタデータ） (2020-03-18T05:52:10Z)
• Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
  近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。 この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。 我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
  論文  参考訳（メタデータ） (2020-01-21T21:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。