論文の概要: Multi-View Depth Estimation by Fusing Single-View Depth Probability with Multi-View Geometry

• arxiv url: http://arxiv.org/abs/2112.08177v1
• Date: Wed, 15 Dec 2021 14:56:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 14:35:58.286230
• Title: Multi-View Depth Estimation by Fusing Single-View Depth Probability with Multi-View Geometry
• Title（参考訳）: 多視点形状を用いた単視点深度確率を用いた多視点深度推定
• Authors: Gwangbin Bae, Ignas Budvytis, Roberto Cipolla
• Abstract要約: 多視点幾何を用いて一視点深度確率を融合するフレームワークであるMaGNetを提案する。 MaGNet は ScanNet, 7-Scenes, KITTI で最先端のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 25.003116148843525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-view depth estimation methods typically require the computation of a multi-view cost-volume, which leads to huge memory consumption and slow inference. Furthermore, multi-view matching can fail for texture-less surfaces, reflective surfaces and moving objects. For such failure modes, single-view depth estimation methods are often more reliable. To this end, we propose MaGNet, a novel framework for fusing single-view depth probability with multi-view geometry, to improve the accuracy, robustness and efficiency of multi-view depth estimation. For each frame, MaGNet estimates a single-view depth probability distribution, parameterized as a pixel-wise Gaussian. The distribution estimated for the reference frame is then used to sample per-pixel depth candidates. Such probabilistic sampling enables the network to achieve higher accuracy while evaluating fewer depth candidates. We also propose depth consistency weighting for the multi-view matching score, to ensure that the multi-view depth is consistent with the single-view predictions. The proposed method achieves state-of-the-art performance on ScanNet, 7-Scenes and KITTI. Qualitative evaluation demonstrates that our method is more robust against challenging artifacts such as texture-less/reflective surfaces and moving objects.
• Abstract（参考訳）: マルチビュー深度推定法は、通常、多ビューのコストボリュームの計算を必要とするため、メモリ消費が大きくなり、推論が遅くなる。 さらに、マルチビューマッチングは、テクスチャのない表面、反射面、移動物体では失敗する可能性がある。 このような障害モードでは、シングルビュー深度推定手法がより信頼性が高いことが多い。 この目的のために,多視点深度推定の精度,堅牢性,効率を向上させるために,一視点深度確率を多視点幾何で融合する新しいフレームワークMaGNetを提案する。 各フレームについて、MaGNetはピクセルワイドガウスとしてパラメータ化された一視点深度確率分布を推定する。 次に、基準フレームから推定される分布を用いて、画素ごとの深度候補をサンプリングする。 このような確率的サンプリングにより、ネットワークはより精度が高く、より少ない深さ候補を評価できる。 また,マルチビューマッチングスコアに対する重み付けを提案し,マルチビュー深度が単一ビュー予測と一致していることを保証する。 提案手法は, ScanNet, 7-Scenes, KITTI上での最先端性能を実現する。 定性的評価は, テクスチャレス/反射面や移動物体などの難題に対して, より堅牢であることを示す。

関連論文リスト

• Adaptive Fusion of Single-View and Multi-View Depth for Autonomous Driving [22.58849429006898]
  現在のマルチビュー深度推定法やシングルビューおよびマルチビュー融合法は、ノイズのあるポーズ設定で失敗する。 本稿では,高信頼度なマルチビューと単一ビューの結果を適応的に統合する単一ビュー・多ビュー融合深度推定システムを提案する。 本手法は,ロバストネス試験において,最先端のマルチビュー・フュージョン法より優れる。
  論文  参考訳（メタデータ） (2024-03-12T11:18:35Z)
• Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging Scenarios [103.72094710263656]
  本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。 本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。 得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:39:16Z)
• Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
  本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。 提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
  論文  参考訳（メタデータ） (2023-03-31T16:01:03Z)
• Improving Monocular Visual Odometry Using Learned Depth [84.05081552443693]
  単眼深度推定を応用して視力計測(VO)を改善する枠組みを提案する。 我々のフレームワークの中核は、多様なシーンに対して強力な一般化能力を持つ単眼深度推定モジュールである。 現在の学習型VO法と比較して,本手法は多様なシーンに対してより強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-04-04T06:26:46Z)
• Uncertainty-Aware Deep Multi-View Photometric Stereo [100.97116470055273]
  光度ステレオ(PS)は高周波表面の細部を復元するのに優れ、マルチビューステレオ(MVS)はPSによる低周波歪みを除去し、大域的な形状を維持するのに役立つ。 本稿では,PS と MVS の相補的強みを効果的に活用する手法を提案する。 我々は,不確実性を考慮したディープPSネットワークとディープMVSネットワークを用いて,画素ごとの表面の正規度と深さを推定する。
  論文  参考訳（メタデータ） (2022-02-26T05:45:52Z)
• A Confidence-based Iterative Solver of Depths and Surface Normals for Deep Multi-view Stereo [41.527018997251744]
  本研究では,深度,表面正規度,視野ごとの信頼度を共同で予測する深層多視点ステレオ(MVS)システムを提案する。 我々のアプローチの鍵は、ビューごとの深度マップと正規写像に対して反復的に解決する新しい解法である。 提案手法は,従来型および深層学習に基づくMVSパイプラインの深部品質を継続的に向上する。
  論文  参考訳（メタデータ） (2022-01-19T14:08:45Z)
• Probabilistic and Geometric Depth: Detecting Objects in Perspective [78.00922683083776]
  3次元物体検出は、運転支援システムなどの様々な実用用途で必要とされる重要な機能である。 双眼視やLiDARに頼っている従来の設定に比べて、経済的な解決策として単眼3D検出が注目されているが、それでも満足のいく結果が得られていない。 本稿ではまず,この問題に関する系統的研究を行い,現在の単分子3次元検出問題をインスタンス深度推定問題として単純化できることを考察する。
  論文  参考訳（メタデータ） (2021-07-29T16:30:33Z)
• Monocular Depth Parameterizing Networks [15.791732557395552]
  実現可能な形状を持つ深度マップの集合のパラメータ化を提供するネットワーク構造を提案する。 これにより、他の画像に関して、写真に一貫性のあるソリューションの形状を検索できる。 実験により,本手法はより正確な深度マップを生成し,競合する最先端手法よりも一般化することを示す。
  論文  参考訳（メタデータ） (2020-12-21T13:02:41Z)
• Variational Monocular Depth Estimation for Reliability Prediction [12.951621755732544]
  教師付き学習手法の代替として,単眼深度推定のための自己教師付き学習が広く研究されている。 従来はモデル構造の変更による深度推定の精度向上に成功している。 本稿では, 単眼深度推定のための変分モデルを理論的に定式化し, 推定深度画像の信頼性を推定する。
  論文  参考訳（メタデータ） (2020-11-24T06:23:51Z)
• Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
  カラービデオから多フレーム深度を推定する新しい学習手法を提案する。 本手法は深度推定精度において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-04-02T07:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。