論文の概要: Uncertainty-Aware Deep Multi-View Photometric Stereo

• arxiv url: http://arxiv.org/abs/2202.13071v1
• Date: Sat, 26 Feb 2022 05:45:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 16:44:09.167483
• Title: Uncertainty-Aware Deep Multi-View Photometric Stereo
• Title（参考訳）: 不確実性を考慮した深部マルチビューフォトメトリックステレオ
• Authors: Berk Kaya, Suryansh Kumar, Carlos Oliveira, Vittorio Ferrari, Luc Van Gool
• Abstract要約: 光度ステレオ(PS)は高周波表面の細部を復元するのに優れ、マルチビューステレオ(MVS)はPSによる低周波歪みを除去し、大域的な形状を維持するのに役立つ。 本稿では,PS と MVS の相補的強みを効果的に活用する手法を提案する。 我々は,不確実性を考慮したディープPSネットワークとディープMVSネットワークを用いて,画素ごとの表面の正規度と深さを推定する。
• 参考スコア（独自算出の注目度）: 100.97116470055273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a simple and effective solution to the problem of multi-view photometric stereo (MVPS). It is well-known that photometric stereo (PS) is excellent at recovering high-frequency surface details, whereas multi-view stereo (MVS) can help remove the low-frequency distortion due to PS and retain the global geometry of the shape. This paper proposes an approach that can effectively utilize such complementary strengths of PS and MVS. Our key idea is to suitably combine them while taking into account the per-pixel uncertainty of their estimates. To this end, we estimate per-pixel surface normals and depth using an uncertainty-aware deep-PS network and deep-MVS network, respectively. Uncertainty modeling helps select reliable surface normal and depth estimates at each pixel which then act as a true representative of the dense surface geometry. At each pixel, our approach either selects or discards deep-PS and deep-MVS network prediction depending on the prediction uncertainty measure. For dense, detailed, and precise inference of the object's surface profile, we propose to learn the implicit neural shape representation via a multilayer perceptron (MLP). Our approach encourages the MLP to converge to a natural zero-level set surface using the confident prediction from deep-PS and deep-MVS networks, providing superior dense surface reconstruction. Extensive experiments on the DiLiGenT-MV benchmark dataset show that our method outperforms most of the existing approaches.
• Abstract（参考訳）: 本稿では,マルチビューフォトメトリックステレオ(mvps)問題に対する簡易かつ効果的な解法を提案する。 マルチビューステレオ(MVS)はPSによる低周波歪みを除去し、形状のグローバルな幾何を維持するのに有効であるのに対し、光度ステレオ(PS)は高周波表面の細部を回復するのに優れていることはよく知られている。 本稿では,PS と MVS の相補的強度を効果的に活用する手法を提案する。 私たちのキーとなるアイデアは、ピクセルごとの予測の不確実性を考慮しながら、それらを適切に組み合わせることです。 この目的のために,不確実性を考慮したディープPSネットワークとディープMVSネットワークを用いて,画素ごとの表面の正規度と深さを推定する。 不確実性モデリングは、各画素における信頼性のある表面正規値と深さ推定値を選択するのに役立つ。 提案手法は各画素において,予測不確実性度に応じて深部PSおよび深部MVSネットワーク予測を選択するか破棄する。 物体の表面形状の密度,詳細,精密な推定を行うため,多層パーセプトロン(MLP)を用いて暗黙的ニューラル形状の表現を学習することを提案する。 提案手法は,深部PSおよび深部MVSネットワークからの信頼性予測を用いて,MLPが自然ゼロレベル設定面に収束することを促す。 DiLiGenT-MVベンチマークデータセットの大規模な実験により、我々の手法は既存のアプローチよりも優れています。

関連論文リスト

• A Neural Height-Map Approach for the Binocular Photometric Stereo Problem [36.404880059833324]
  双眼鏡測光ステレオ(PS)フレームワークは単視PSと同じ取得速度を持つが、推定幾何の質は著しく向上する。 本手法は両眼立体装置に適応したDiLiGenT-MVデータセットの最先端性能と新しい両眼測光ステレオデータセットLUCES-STを実現する。
  論文  参考訳（メタデータ） (2023-11-10T09:45:53Z)
• Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
  本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。 提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
  論文  参考訳（メタデータ） (2023-03-31T16:01:03Z)
• Deep Learning Methods for Calibrated Photometric Stereo and Beyond [86.57469194387264]
  光度ステレオは、さまざまなシェーディングキューを持つ複数の画像から物体の表面の正常性を回復する。 深層学習法は、非ランベルト面に対する測光ステレオの文脈において強力な能力を示している。
  論文  参考訳（メタデータ） (2022-12-16T11:27:44Z)
• Multi-View Photometric Stereo Revisited [100.97116470055273]
  多視点測光ステレオ(MVPS)は、画像から被写体を詳細に正確に3D取得する方法として好まれる。 MVPSは異方性や光沢などの他の対象物質と同様に,等方性に対しても有効である。 提案手法は、複数のベンチマークデータセットで広範囲にテストした場合に、最先端の結果を示す。
  論文  参考訳（メタデータ） (2022-10-14T09:46:15Z)
• nLMVS-Net: Deep Non-Lambertian Multi-View Stereo [24.707415091168556]
  本稿では,画素ごとの奥行きを同時に再現できる新しい多視点ステレオ(MVS)手法を提案する。 私たちのキーとなるアイデアは、MVSをエンドツーエンドの学習可能なネットワークとして定式化することです。
  論文  参考訳（メタデータ） (2022-07-25T02:20:21Z)
• Multi-View Depth Estimation by Fusing Single-View Depth Probability with Multi-View Geometry [25.003116148843525]
  多視点幾何を用いて一視点深度確率を融合するフレームワークであるMaGNetを提案する。 MaGNet は ScanNet, 7-Scenes, KITTI で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2021-12-15T14:56:53Z)
• Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
  多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。 我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。 本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
  論文  参考訳（メタデータ） (2021-10-11T20:20:03Z)
• Deep Photometric Stereo for Non-Lambertian Surfaces [89.05501463107673]
  我々は、PS-FCNと呼ばれる、校正された測光ステレオのための完全な畳み込みディープネットワークを導入する。 PS-FCNは反射率観測から表面正規へのマッピングを学習し、一般的な等方反射率と未知の等方反射率で表面を処理できる。 光方向が不明な未定のシナリオに対処するため、入力画像から光方向を推定するLCNetという新しい畳み込みネットワークを導入する。
  論文  参考訳（メタデータ） (2020-07-26T15:20:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。