論文の概要: PatchMatch-RL: Deep MVS with Pixelwise Depth, Normal, and Visibility
- arxiv url: http://arxiv.org/abs/2108.08943v1
- Date: Thu, 19 Aug 2021 23:14:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-23 13:29:37.138346
- Title: PatchMatch-RL: Deep MVS with Pixelwise Depth, Normal, and Visibility
- Title（参考訳）: PatchMatch-RL:Pixelwise Depth, Normal, Visibilityを備えたディープMVS
- Authors: Jae Yong Lee, Joseph DeGol, Chuhang Zou, Derek Hoiem
- Abstract要約: トレーニング可能なコストと正規化の利点を画素単位の推定と組み合わせた,エンドツーエンドのトレーニング可能なPatchMatchベースのMVSアプローチを提案する。
我々は、広く使われているMVSベンチマーク、ETH3D、タンク、テンプル(TnT)について評価する。
- 参考スコア（独自算出の注目度）: 23.427619869594437
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent learning-based multi-view stereo (MVS) methods show excellent
performance with dense cameras and small depth ranges. However, non-learning
based approaches still outperform for scenes with large depth ranges and
sparser wide-baseline views, in part due to their PatchMatch optimization over
pixelwise estimates of depth, normals, and visibility. In this paper, we
propose an end-to-end trainable PatchMatch-based MVS approach that combines
advantages of trainable costs and regularizations with pixelwise estimates. To
overcome the challenge of the non-differentiable PatchMatch optimization that
involves iterative sampling and hard decisions, we use reinforcement learning
to minimize expected photometric cost and maximize likelihood of ground truth
depth and normals. We incorporate normal estimation by using dilated patch
kernels, and propose a recurrent cost regularization that applies beyond
frontal plane-sweep algorithms to our pixelwise depth/normal estimates. We
evaluate our method on widely used MVS benchmarks, ETH3D and Tanks and Temples
(TnT), and compare to other state of the art learning based MVS models. On
ETH3D, our method outperforms other recent learning-based approaches and
performs comparably on advanced TnT.
- Abstract（参考訳）: 近年の学習型マルチビューステレオ(MVS)法は,高密度カメラと小深度範囲で優れた性能を示す。
しかし、非学習ベースのアプローチは、深さ、正規値、可視性のピクセルごとの推定よりもパッチマッチングの最適化が原因で、大きな深度範囲とスパーザーの広いベースラインビューを持つシーンでは依然として優れています。
本稿では,トレーニング可能なコストと正規化の利点をピクセルワイズ推定と組み合わせた,エンドツーエンドで訓練可能なパッチマッチベースのmvs手法を提案する。
反復サンプリングとハード決定を伴う非微分パッチマッチング最適化の課題を克服するために、強化学習を用いて測光コストを最小化し、基底真理深さと正規値の可能性を最大化する。
拡張パッチカーネルを用いた正規推定を取り入れ, 画素幅の深さ/正規推定に対して, 前向き平面スイープアルゴリズムを超える繰り返しコスト正規化を提案する。
本手法は,広く使用されているmvsベンチマーク,eth3dおよびtnt(tnt)を用いて評価し,他のmvsモデルとの比較を行った。
eth3dでは,最近の学習ベースアプローチを上回り,先進的tntで比較可能である。
関連論文リスト
- MP-MVS: Multi-Scale Windows PatchMatch and Planar Prior Multi-View
Stereo [7.130834755320434]
レジリエントで効果的なマルチビューステレオアプローチ(MP-MVS)を提案する。
マルチスケールウィンドウPatchMatch (mPM) を設計し, 信頼性の高い非テクスチャ領域の深さを求める。
他のマルチスケールアプローチとは対照的に、より高速で、PatchMatchベースのMVSアプローチに容易に拡張できる。
論文 参考訳（メタデータ） (2023-09-23T07:30:42Z) - Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。
提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
論文 参考訳（メタデータ） (2023-03-31T16:01:03Z) - Deep PatchMatch MVS with Learned Patch Coplanarity, Geometric
Consistency and Adaptive Pixel Sampling [19.412014102866507]
我々は、コプランナリティのパッチを学習し、幾何整合性を促進することにより、測光スコアを改善するための学習ベースのアプローチを構築した。
本稿では,より高解像度かつ高解像度なエンコーダでメモリを削減し,より大きな解像度でのトレーニングを可能にするための,適応的画素サンプリング戦略を提案する。
論文 参考訳（メタデータ） (2022-10-14T07:29:03Z) - Revisiting PatchMatch Multi-View Stereo for Urban 3D Reconstruction [1.1011268090482573]
PatchMatch Multi-View Stereo (MVS) に基づく画像に基づく都市シナリオの3次元再構築のための完全なパイプラインを提案する。
提案手法は、KITTIデータセット上の古典的MVSアルゴリズムと単分子深度ネットワークの両方に対して慎重に評価される。
論文 参考訳（メタデータ） (2022-07-18T08:45:54Z) - PatchMVSNet: Patch-wise Unsupervised Multi-View Stereo for
Weakly-Textured Surface Reconstruction [2.9896482273918434]
本稿では,多視点画像の制約を活かしたロバストな損失関数を提案し,あいまいさを緩和する。
我々の戦略は任意の深さ推定フレームワークで実装することができ、任意の大規模MVSデータセットでトレーニングすることができる。
提案手法は,DTU,タンク・アンド・テンプル,ETH3Dなどの一般的なベンチマーク上での最先端手法の性能に達する。
論文 参考訳（メタデータ） (2022-03-04T07:05:23Z) - IterMVS: Iterative Probability Estimation for Efficient Multi-View
Stereo [71.84742490020611]
IterMVSは高解像度マルチビューステレオのための新しいデータ駆動方式である。
隠れ状態の深さの画素単位の確率分布を符号化するGRUに基づく新しい推定器を提案する。
DTU, タンク&テンプル, ETH3Dにおける本手法の有効性と有効性を検証する。
論文 参考訳（メタデータ） (2021-12-09T18:58:02Z) - Generalized Binary Search Network for Highly-Efficient Multi-View Stereo [10.367295443948487]
カメラパラメータが既知のマルチビューステレオ(MVS)は、基本的に有効な深度範囲内の1次元探索問題である。
近年の深層学習に基づくMVS法は, 一般に深度範囲の深部仮説を高密度にサンプリングする。
本稿では,メモリフットプリントを大幅に削減する高効率MVSを提案する。
論文 参考訳（メタデータ） (2021-12-04T13:57:18Z) - An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。
正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T02:27:55Z) - Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust
Depth Prediction [87.08227378010874]
深度予測における高次3次元幾何学的制約の重要性を示す。
単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。
The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
論文 参考訳（メタデータ） (2021-03-07T00:08:21Z) - PatchmatchNet: Learned Multi-View Patchmatch Stereo [70.14789588576438]
PatchmatchNetは、高解像度のマルチビューステレオのためのPatchmatchの新規で学習可能なカスケード定式化である。
PatchmatchNetは高速で低メモリを必要とするため、高解像度の画像を処理でき、3Dコストのボリューム正規化を採用する競合製品よりもリソース制限されたデバイスで実行するのに適している。
論文 参考訳（メタデータ） (2020-12-02T18:59:02Z) - Deep Shells: Unsupervised Shape Correspondence with Optimal Transport [52.646396621449]
本稿では,3次元形状対応のための教師なし学習手法を提案する。
提案手法は,複数のデータセット上での最先端技術よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-28T22:24:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。