論文の概要: A Confidence-based Iterative Solver of Depths and Surface Normals for Deep Multi-view Stereo

• arxiv url: http://arxiv.org/abs/2201.07609v1
• Date: Wed, 19 Jan 2022 14:08:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-20 14:45:34.369019
• Title: A Confidence-based Iterative Solver of Depths and Surface Normals for Deep Multi-view Stereo
• Title（参考訳）: 深層多視点ステレオのための深部・表面の信頼度に基づく反復解法
• Authors: Wang Zhao, Shaohui Liu, Yi Wei, Hengkai Guo, Yong-Jin Liu
• Abstract要約: 本研究では,深度,表面正規度,視野ごとの信頼度を共同で予測する深層多視点ステレオ(MVS)システムを提案する。 我々のアプローチの鍵は、ビューごとの深度マップと正規写像に対して反復的に解決する新しい解法である。 提案手法は,従来型および深層学習に基づくMVSパイプラインの深部品質を継続的に向上する。
• 参考スコア（独自算出の注目度）: 41.527018997251744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce a deep multi-view stereo (MVS) system that jointly predicts depths, surface normals and per-view confidence maps. The key to our approach is a novel solver that iteratively solves for per-view depth map and normal map by optimizing an energy potential based on the locally planar assumption. Specifically, the algorithm updates depth map by propagating from neighboring pixels with slanted planes, and updates normal map with local probabilistic plane fitting. Both two steps are monitored by a customized confidence map. This solver is not only effective as a post-processing tool for plane-based depth refinement and completion, but also differentiable such that it can be efficiently integrated into deep learning pipelines. Our multi-view stereo system employs multiple optimization steps of the solver over the initial prediction of depths and surface normals. The whole system can be trained end-to-end, decoupling the challenging problem of matching pixels within poorly textured regions from the cost-volume based neural network. Experimental results on ScanNet and RGB-D Scenes V2 demonstrate state-of-the-art performance of the proposed deep MVS system on multi-view depth estimation, with our proposed solver consistently improving the depth quality over both conventional and deep learning based MVS pipelines. Code is available at https://github.com/thuzhaowang/idn-solver.
• Abstract（参考訳）: 本稿では,深度,表面正規値,ビュー毎の信頼度マップを共同で予測する深層マルチビューステレオ(mvs)システムを提案する。 このアプローチの鍵となるのは,局所平面仮定に基づくエネルギーポテンシャルを最適化することで,ビュー毎の深度マップと正規マップを反復的に解く,新しい解法である。 具体的には, 隣接する画素から傾斜面を伝播して深度マップを更新し, 局所確率平面フィッティングで正規写像を更新する。 2つのステップは、カスタマイズされた信頼マップによって監視される。 この解法は、平面ベースの深度精錬と完成のための後処理ツールとして有効であるだけでなく、ディープラーニングパイプラインに効率的に組み込むことが可能である。 マルチビューステレオシステムは,深度と表面正規値の初期予測よりも,ソルバの複数の最適化ステップを用いる。 システム全体はエンドツーエンドでトレーニングでき、コストボリュームベースのニューラルネットワークから、粗悪なテクスチャ領域内のピクセルマッチングの問題を切り離すことができる。 スキャネットとrgb-dシーンv2の実験結果は,多視点深度推定において提案する深部mvsシステムの最先端性能を示し,従来型と深部学習型mvsパイプラインの双方の奥行き品質を一貫して向上させる。 コードはhttps://github.com/thuzhaowang/idn-solverで入手できる。

関連論文リスト

• ARAI-MVSNet: A multi-view stereo depth estimation network with adaptive depth range and depth interval [19.28042366225802]
  マルチビューステレオ(MVS)は幾何学的コンピュータビジョンの基本的な問題である。 適応的な全画素深度範囲と深度間隔を実現するために,新しい多段粗大化フレームワークを提案する。 我々のモデルは最先端の性能を達成し、競争一般化能力を得る。
  論文  参考訳（メタデータ） (2023-08-17T14:52:11Z)
• Constraining Depth Map Geometry for Multi-View Stereo: A Dual-Depth Approach with Saddle-shaped Depth Cells [23.345139129458122]
  同じ深度予測誤差を用いても、異なる深度ジオメトリには大きな性能ギャップがあることが示される。 サドル形状のセルからなる理想的な深度幾何学を導入し, 予測深度マップは地表面を上下に振動する。 また,本手法は,MVSにおける深度幾何学の新たな研究方向を示す。
  論文  参考訳（メタデータ） (2023-07-18T11:37:53Z)
• Towards the Probabilistic Fusion of Learned Priors into Standard Pipelines for 3D Reconstruction [31.55322925389011]
  我々はディープニューラルネットワークを訓練し、個々のピクセルの深さの離散的非パラメトリックな確率分布を1つの画像から予測する。 次に、この「確率容積」を、その後のフレームと画像との間の光度整合性に基づいて、別の確率体積と融合する。
  論文  参考訳（メタデータ） (2022-07-27T11:28:49Z)
• Non-parametric Depth Distribution Modelling based Depth Inference for Multi-view Stereo [43.415242967722804]
  最近のコストボリュームピラミッドに基づくディープニューラルネットワークは、多視点ステレオからの深度推論に高解像度の画像を効率的に活用する可能性を解き放った。 一般に、これらのアプローチは各ピクセルの深さが一様分布に従うと仮定する。 本研究では,非パラメトリック深度分布モデルを用いて,一様および多モード分布の画素を扱うコストボリュームを構築することを提案する。
  論文  参考訳（メタデータ） (2022-05-08T05:13:04Z)
• 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
  3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。 私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。 本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
  論文  参考訳（メタデータ） (2021-12-01T00:52:42Z)
• VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
  本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。 ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。 異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-08-19T11:33:58Z)
• PLADE-Net: Towards Pixel-Level Accuracy for Self-Supervised Single-View Depth Estimation with Neural Positional Encoding and Distilled Matting Loss [49.66736599668501]
  PLADE-Netと呼ばれる自己監視型単視点画素レベルの高精度深度推定ネットワークを提案する。 提案手法は,KITTIデータセットの$delta1$測定値の95%を超え,前例のない精度を示す。
  論文  参考訳（メタデータ） (2021-03-12T15:54:46Z)
• CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth [83.77839773394106]
  本稿では,軽量で密結合の深い深度ネットワークと視覚慣性オドメトリーシステムを提案する。 我々は、初期深度予測の精度を高めるために、以前にVIOから切り離されたスパース特徴を持つネットワークを提供する。 本稿では,ネットワークとコードヤコビアンでのみGPUアクセラレーションを活用しながら,シングルスレッド実行でリアルタイムに動作可能であることを示す。
  論文  参考訳（メタデータ） (2020-12-18T09:42:54Z)
• Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for 3D Reconstruction [12.728154351588053]
  マルチビュー画像から3次元再構成を行うための効率的なマルチビューステレオ(MVS)ネットワークを提案する。 高分解能深度を実現するために粗粒度深度推論戦略を導入する。
  論文  参考訳（メタデータ） (2020-11-25T13:34:11Z)
• OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems [88.41004332322788]
  超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。 より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。 我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
  論文  参考訳（メタデータ） (2020-03-18T05:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。