論文の概要: V-FUSE: Volumetric Depth Map Fusion with Long-Range Constraints
- arxiv url: http://arxiv.org/abs/2308.08715v1
- Date: Thu, 17 Aug 2023 00:39:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 18:24:11.264585
- Title: V-FUSE: Volumetric Depth Map Fusion with Long-Range Constraints
- Title(参考訳): v-fuse:長距離制約付き体積深度マップの融合
- Authors: Nathaniel Burgdorfer, Philippos Mordohai
- Abstract要約: 本稿では,Multi-View Stereo(MVS)アルゴリズムによって生成された深度マップと信頼マップのセットを入力として受け入れ,改良する学習ベースの深度マップ融合フレームワークを提案する。
また、各線に沿った深度仮説探索空間を減らすために、より大きな融合サブネットワークと共に訓練された深度探索ウィンドウ推定サブネットワークを導入する。
本手法は,データから直接,深度コンセンサスと可視性制約の違反をモデル化することを学ぶ。
- 参考スコア(独自算出の注目度): 6.7197802356130465
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a learning-based depth map fusion framework that accepts a set
of depth and confidence maps generated by a Multi-View Stereo (MVS) algorithm
as input and improves them. This is accomplished by integrating volumetric
visibility constraints that encode long-range surface relationships across
different views into an end-to-end trainable architecture. We also introduce a
depth search window estimation sub-network trained jointly with the larger
fusion sub-network to reduce the depth hypothesis search space along each ray.
Our method learns to model depth consensus and violations of visibility
constraints directly from the data; effectively removing the necessity of
fine-tuning fusion parameters. Extensive experiments on MVS datasets show
substantial improvements in the accuracy of the output fused depth and
confidence maps.
- Abstract(参考訳): 本稿では,Multi-View Stereo(MVS)アルゴリズムによって生成された深度マップと信頼マップのセットを入力として受け入れ,改良する学習ベースの深度マップ融合フレームワークを提案する。
これは、様々なビューにわたる長距離表面関係をエンコードするボリューム可視性制約をエンドツーエンドのトレーニング可能なアーキテクチャに統合することで達成される。
また、各線に沿った深度仮説探索空間を減らすために、より大きな融合サブネットワークと共に訓練された深度探索ウィンドウ推定サブネットワークを導入する。
本手法では,データから直接可視性制約をモデル化し,微調整型融合パラメータの必要性を効果的に除去する。
MVSデータセットの大規模な実験は、出力融合深度と信頼マップの精度を大幅に改善したことを示している。
関連論文リスト
- Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging
Scenarios [103.72094710263656]
本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。
本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。
得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
論文 参考訳(メタデータ) (2024-02-19T04:39:16Z) - Self-Supervised Depth Completion Guided by 3D Perception and Geometry
Consistency [17.68427514090938]
本稿では,3次元の知覚的特徴と多視点幾何整合性を利用して,高精度な自己監督深度補完法を提案する。
NYU-Depthv2 と VOID のベンチマークデータセットを用いた実験により,提案モデルが最先端の深度補完性能を実現することを示す。
論文 参考訳(メタデータ) (2023-12-23T14:19:56Z) - Multi-resolution Monocular Depth Map Fusion by Self-supervised
Gradient-based Composition [14.246972408737987]
推定の利点を多分解能入力と組み合わせた新しい深度マップ融合モジュールを提案する。
我々の軽量深度核融合は1ショットでリアルタイムに動作し、最先端の深度核融合法よりも80倍高速である。
論文 参考訳(メタデータ) (2022-12-03T05:13:50Z) - Improving Monocular Visual Odometry Using Learned Depth [84.05081552443693]
単眼深度推定を応用して視力計測(VO)を改善する枠組みを提案する。
我々のフレームワークの中核は、多様なシーンに対して強力な一般化能力を持つ単眼深度推定モジュールである。
現在の学習型VO法と比較して,本手法は多様なシーンに対してより強力な一般化能力を示す。
論文 参考訳(メタデータ) (2022-04-04T06:26:46Z) - DepthFormer: Exploiting Long-Range Correlation and Local Information for
Accurate Monocular Depth Estimation [50.08080424613603]
高精度な単分子深度推定には長距離相関が不可欠である。
我々は,このグローバルコンテキストを効果的な注意機構でモデル化するためにTransformerを活用することを提案する。
提案したモデルであるDepthFormerは、最先端のモノクル深度推定手法をはるかに超えている。
論文 参考訳(メタデータ) (2022-03-27T05:03:56Z) - A Confidence-based Iterative Solver of Depths and Surface Normals for
Deep Multi-view Stereo [41.527018997251744]
本研究では,深度,表面正規度,視野ごとの信頼度を共同で予測する深層多視点ステレオ(MVS)システムを提案する。
我々のアプローチの鍵は、ビューごとの深度マップと正規写像に対して反復的に解決する新しい解法である。
提案手法は,従来型および深層学習に基づくMVSパイプラインの深部品質を継続的に向上する。
論文 参考訳(メタデータ) (2022-01-19T14:08:45Z) - Boosting Monocular Depth Estimation Models to High-Resolution via
Content-Adaptive Multi-Resolution Merging [14.279471205248534]
本研究では,一貫したシーン構造と高周波の詳細が深度推定性能に与える影響を示す。
本稿では,画像全体の深さ推定を改善する二重推定法と,局所的な詳細を付加するパッチ選択法を提案する。
異なる解像度での推定とコンテキストの変化を組み合わせることで、高精細度でマルチメガピクセルの深度マップを作成できることを実証した。
論文 参考訳(メタデータ) (2021-05-28T17:55:15Z) - Light Field Reconstruction via Deep Adaptive Fusion of Hybrid Lenses [67.01164492518481]
本稿では,ハイブリットレンズを用いた高分解能光場(LF)画像の再構成問題について検討する。
本稿では,入力の特徴を包括的に活用できる新しいエンドツーエンド学習手法を提案する。
我々のフレームワークは、高解像度なLFデータ取得のコストを削減し、LFデータストレージと送信の恩恵を受ける可能性がある。
論文 参考訳(メタデータ) (2021-02-14T06:44:47Z) - Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for
3D Reconstruction [12.728154351588053]
マルチビュー画像から3次元再構成を行うための効率的なマルチビューステレオ(MVS)ネットワークを提案する。
高分解能深度を実現するために粗粒度深度推論戦略を導入する。
論文 参考訳(メタデータ) (2020-11-25T13:34:11Z) - Adaptive confidence thresholding for monocular depth estimation [83.06265443599521]
本稿では,自己教師付ステレオマッチング法から生成されたステレオ画像の擬似地上真実深度マップを利用する新しい手法を提案する。
擬似地底深度マップの信頼度マップを推定し、不正確な擬似地底深度マップによる性能劣化を緩和する。
実験結果から, 最先端の単分子深度推定法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2020-09-27T13:26:16Z) - OmniSLAM: Omnidirectional Localization and Dense Mapping for
Wide-baseline Multi-camera Systems [88.41004332322788]
超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。
より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。
我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
論文 参考訳(メタデータ) (2020-03-18T05:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。