論文の概要: DDR-Net: Learning Multi-Stage Multi-View Stereo With Dynamic Depth Range
- arxiv url: http://arxiv.org/abs/2103.14275v1
- Date: Fri, 26 Mar 2021 05:52:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-29 21:05:06.584668
- Title: DDR-Net: Learning Multi-Stage Multi-View Stereo With Dynamic Depth Range
- Title(参考訳): DDR-Net:動的深さ範囲でマルチステージマルチビューステレオを学習する
- Authors: Puyuan Yi, Shengkun Tang and Jian Yao
- Abstract要約: 深度範囲の仮説を動的に決定するための動的深さ範囲ネットワーク(DDR-Net)を提案する。
DDR-Netでは、まず、深度範囲全体にわたる画像の最も粗い解像度で初期深度マップを構築します。
学習した動的深度範囲を利用して、洗練された深度マップを生成する新しい損失戦略を開発します。
- 参考スコア(独自算出の注目度): 2.081393321765571
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To obtain high-resolution depth maps, some previous learning-based multi-view
stereo methods build a cost volume pyramid in a coarse-to-fine manner. These
approaches leverage fixed depth range hypotheses to construct cascaded plane
sweep volumes. However, it is inappropriate to set identical range hypotheses
for each pixel since the uncertainties of previous per-pixel depth predictions
are spatially varying. Distinct from these approaches, we propose a Dynamic
Depth Range Network (DDR-Net) to determine the depth range hypotheses
dynamically by applying a range estimation module (REM) to learn the
uncertainties of range hypotheses in the former stages. Specifically, in our
DDR-Net, we first build an initial depth map at the coarsest resolution of an
image across the entire depth range. Then the range estimation module (REM)
leverages the probability distribution information of the initial depth to
estimate the depth range hypotheses dynamically for the following stages.
Moreover, we develop a novel loss strategy, which utilizes learned dynamic
depth ranges to generate refined depth maps, to keep the ground truth value of
each pixel covered in the range hypotheses of the next stage. Extensive
experimental results show that our method achieves superior performance over
other state-of-the-art methods on the DTU benchmark and obtains comparable
results on the Tanks and Temples benchmark. The code is available at
https://github.com/Tangshengku/DDR-Net.
- Abstract(参考訳): 高分解能の奥行きマップを得るため、前回の学習に基づくマルチビューステレオ手法では、コストボリュームピラミッドを粗雑に構築する。
これらのアプローチは固定深度距離仮説を利用してカスケード平面スイープボリュームを構築する。
しかし、以前の画素ごとの深度予測の不確かさが空間的に異なるため、各ピクセルに対して同じ範囲仮説を設定するのは不適切である。
提案手法は, 距離推定モジュール (REM) を適用し, 前段階における距離推定の不確かさを学習することにより, 深度推定を動的に行う動的深度レンジネットワーク (DDR-Net) を提案する。
特に、ddr-netでは、まず、深度範囲全体にわたって画像の最も粗い解像度で初期深度マップを構築します。
そして、レンジ推定モジュール(REM)は、初期深さの確率分布情報を利用して、以下の段階で動的に深度範囲仮説を推定する。
さらに,学習したダイナミックな深度範囲を利用して精巧な深度マップを生成する新たなロス戦略を開発し,次の段階のレンジ仮説で被覆された各画素の真理値を保持する。
実験の結果,本手法はDTUベンチマークにおける他の最先端手法よりも優れた性能を示し,タンク・アンド・テンプルのベンチマークで同等の結果を得た。
コードはhttps://github.com/tangshengku/ddr-netで入手できる。
関連論文リスト
- ScaleDepth: Decomposing Metric Depth Estimation into Scale Prediction and Relative Depth Estimation [62.600382533322325]
本研究では,新しい単分子深度推定法であるScaleDepthを提案する。
提案手法は,距離深度をシーンスケールと相対深度に分解し,セマンティック・アウェア・スケール予測モジュールを用いて予測する。
本手法は,室内と屋外の両方のシーンを統一した枠組みで距離推定する。
論文 参考訳(メタデータ) (2024-07-11T05:11:56Z) - ARAI-MVSNet: A multi-view stereo depth estimation network with adaptive
depth range and depth interval [19.28042366225802]
マルチビューステレオ(MVS)は幾何学的コンピュータビジョンの基本的な問題である。
適応的な全画素深度範囲と深度間隔を実現するために,新しい多段粗大化フレームワークを提案する。
我々のモデルは最先端の性能を達成し、競争一般化能力を得る。
論文 参考訳(メタデータ) (2023-08-17T14:52:11Z) - Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。
提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
論文 参考訳(メタデータ) (2023-03-31T16:01:03Z) - Towards Domain-agnostic Depth Completion [28.25756709062647]
既存の深度補完法は、しばしば特定のスパース深度型を目標とし、タスク領域をまたいだ一般化が不十分である。
各種センサで得られたスパース/セミデンス,ノイズ,および低分解能深度マップを完備する手法を提案する。
本手法は,最先端の深度補完法に対して優れたクロスドメイン一般化能力を示す。
論文 参考訳(メタデータ) (2022-07-29T04:10:22Z) - Non-parametric Depth Distribution Modelling based Depth Inference for
Multi-view Stereo [43.415242967722804]
最近のコストボリュームピラミッドに基づくディープニューラルネットワークは、多視点ステレオからの深度推論に高解像度の画像を効率的に活用する可能性を解き放った。
一般に、これらのアプローチは各ピクセルの深さが一様分布に従うと仮定する。
本研究では,非パラメトリック深度分布モデルを用いて,一様および多モード分布の画素を扱うコストボリュームを構築することを提案する。
論文 参考訳(メタデータ) (2022-05-08T05:13:04Z) - 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。
私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。
本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
論文 参考訳(メタデータ) (2021-12-01T00:52:42Z) - IB-MVS: An Iterative Algorithm for Deep Multi-View Stereo based on
Binary Decisions [0.0]
本稿では,マルチビューステレオのための新しいディープラーニング手法を提案する。
提案手法は,各画素における実現可能な深度値の連続空間を2値決定方式でトラバースすることにより,高分解能かつ高精度な深度マップを反復的に推定する。
提案手法をDTU, タンク, テンプル上の最先端のマルチビューステレオ手法と, 挑戦的なETH3Dベンチマークと比較し, 競争力のある結果を示した。
論文 参考訳(メタデータ) (2021-11-29T10:04:24Z) - Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust
Depth Prediction [87.08227378010874]
深度予測における高次3次元幾何学的制約の重要性を示す。
単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。
The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
論文 参考訳(メタデータ) (2021-03-07T00:08:21Z) - Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for
3D Reconstruction [12.728154351588053]
マルチビュー画像から3次元再構成を行うための効率的なマルチビューステレオ(MVS)ネットワークを提案する。
高分解能深度を実現するために粗粒度深度推論戦略を導入する。
論文 参考訳(メタデータ) (2020-11-25T13:34:11Z) - DiverseDepth: Affine-invariant Depth Prediction Using Diverse Data [110.29043712400912]
本稿では,アフィン変換に至るまでの多様なシーンにおける高品質な深度を予測できるモノクロ画像を用いた深度推定手法を提案する。
実験の結果,提案手法は,ゼロショットテスト設定と大差で8つのデータセットの先行手法より優れていた。
論文 参考訳(メタデータ) (2020-02-03T05:38:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。