論文の概要: Refinement of Monocular Depth Maps via Multi-View Differentiable Rendering

• arxiv url: http://arxiv.org/abs/2410.03861v1
• Date: Fri, 4 Oct 2024 18:50:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 15:50:43.443865
• Title: Refinement of Monocular Depth Maps via Multi-View Differentiable Rendering
• Title（参考訳）: 多視点微分レンダリングによる単眼深度マップの微細化
• Authors: Laura Fink, Linus Franke, Joachim Keinert, Marc Stamminger,
• Abstract要約: 本稿では,複数の画像から一貫した詳細な深度マップを生成するための新しい手法を提案する。 我々は、位相的に完全だが計量的に不正確な深度マップを生成する単眼深度推定の進歩を活用する。 提案手法は,高密度で詳細で高品質な深度マップを作成でき,また屋内シナリオの挑戦も可能であり,最先端の深度復元手法よりも優れている。
• 参考スコア（独自算出の注目度）: 4.717325308876748
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The accurate reconstruction of per-pixel depth for an image is vital for many tasks in computer graphics, computer vision, and robotics. In this paper, we present a novel approach to generate view consistent and detailed depth maps from a number of posed images. We leverage advances in monocular depth estimation, which generate topologically complete, but metrically inaccurate depth maps and refine them in a two-stage optimization process based on a differentiable renderer. Taking the monocular depth map as input, we first scale this map to absolute distances based on structure-from-motion and transform the depths to a triangle surface mesh. We then refine this depth mesh in a local optimization, enforcing photometric and geometric consistency. Our evaluation shows that our method is able to generate dense, detailed, high-quality depth maps, also in challenging indoor scenarios, and outperforms state-of-the-art depth reconstruction approaches. Overview and supplemental material of this project can be found at https://lorafib.github.io/ref_depth/.
• Abstract（参考訳）: 画像のピクセルごとの深度を正確に再現することは、コンピュータグラフィックス、コンピュータビジョン、ロボット工学における多くのタスクにとって不可欠である。 本稿では,複数の画像から一貫した詳細な深度マップを生成するための新しい手法を提案する。 我々は、位相的に完全であるが計量的に不正確な深度マップを生成し、微分可能なレンダラーに基づく2段階最適化プロセスでそれらを洗練する単分子深度推定の進歩を活用する。 単分子深度マップを入力として、まずこのマップを構造から移動して絶対距離まで拡大し、深さを三角形表面メッシュに変換する。 次に、この深度メッシュを局所的に最適化し、光度と幾何の整合性を強制する。 提案手法は, 室内の難易度の高い高精細度深度マップを作成でき, 最先端の深度再構築手法よりも優れていることを示す。 プロジェクトの概要と補足資料はhttps://lorafib.github.io/ref_depth/.com/で見ることができる。

関連論文リスト

• Constraining Depth Map Geometry for Multi-View Stereo: A Dual-Depth Approach with Saddle-shaped Depth Cells [23.345139129458122]
  同じ深度予測誤差を用いても、異なる深度ジオメトリには大きな性能ギャップがあることが示される。 サドル形状のセルからなる理想的な深度幾何学を導入し, 予測深度マップは地表面を上下に振動する。 また,本手法は,MVSにおける深度幾何学の新たな研究方向を示す。
  論文  参考訳（メタデータ） (2023-07-18T11:37:53Z)
• TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering [54.35405028643051]
  スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。 提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。 我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
  論文  参考訳（メタデータ） (2023-03-27T10:07:52Z)
• VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
  本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。 ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。 異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-08-19T11:33:58Z)
• Monocular Depth Parameterizing Networks [15.791732557395552]
  実現可能な形状を持つ深度マップの集合のパラメータ化を提供するネットワーク構造を提案する。 これにより、他の画像に関して、写真に一貫性のあるソリューションの形状を検索できる。 実験により,本手法はより正確な深度マップを生成し,競合する最先端手法よりも一般化することを示す。
  論文  参考訳（メタデータ） (2020-12-21T13:02:41Z)
• Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for 3D Reconstruction [12.728154351588053]
  マルチビュー画像から3次元再構成を行うための効率的なマルチビューステレオ(MVS)ネットワークを提案する。 高分解能深度を実現するために粗粒度深度推論戦略を導入する。
  論文  参考訳（メタデータ） (2020-11-25T13:34:11Z)
• Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
  カラービデオから多フレーム深度を推定する新しい学習手法を提案する。 本手法は深度推定精度において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-04-02T07:10:45Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)
• OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems [88.41004332322788]
  超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。 より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。 我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
  論文  参考訳（メタデータ） (2020-03-18T05:52:10Z)
• Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
  近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。 この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。 我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
  論文  参考訳（メタデータ） (2020-01-21T21:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。