論文の概要: nLMVS-Net: Deep Non-Lambertian Multi-View Stereo
- arxiv url: http://arxiv.org/abs/2207.11876v1
- Date: Mon, 25 Jul 2022 02:20:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-26 14:49:44.938940
- Title: nLMVS-Net: Deep Non-Lambertian Multi-View Stereo
- Title（参考訳）: nLMVS-Net:Deep Non-Lambertian Multi-View Stereo
- Authors: Kohei Yamashita, Yuto Enyo, Shohei Nobuhara, Ko Nishino
- Abstract要約: 本稿では,画素ごとの奥行きを同時に再現できる新しい多視点ステレオ(MVS)手法を提案する。
私たちのキーとなるアイデアは、MVSをエンドツーエンドの学習可能なネットワークとして定式化することです。
- 参考スコア（独自算出の注目度）: 24.707415091168556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a novel multi-view stereo (MVS) method that can simultaneously
recover not just per-pixel depth but also surface normals, together with the
reflectance of textureless, complex non-Lambertian surfaces captured under
known but natural illumination. Our key idea is to formulate MVS as an
end-to-end learnable network, which we refer to as nLMVS-Net, that seamlessly
integrates radiometric cues to leverage surface normals as view-independent
surface features for learned cost volume construction and filtering. It first
estimates surface normals as pixel-wise probability densities for each view
with a novel shape-from-shading network. These per-pixel surface normal
densities and the input multi-view images are then input to a novel cost volume
filtering network that learns to recover per-pixel depth and surface normal.
The reflectance is also explicitly estimated by alternating with geometry
reconstruction. Extensive quantitative evaluations on newly established
synthetic and real-world datasets show that nLMVS-Net can robustly and
accurately recover the shape and reflectance of complex objects in natural
settings.
- Abstract（参考訳）: マルチビューステレオ (MVS) 法は, 画素ごとの深度だけでなく, 表面の正常値も同時に再現できるとともに, テクスチャレスで複雑な非ランベルト面の反射率も向上する。
我々のキーとなる考え方は、MVSをエンドツーエンドで学習可能なネットワークとして定式化し、これを nLMVS-Net と呼びます。
まず、面正規化を、新しいシェーディングネットワークによる各ビューの画素単位の確率密度として推定する。
これらの画素ごとの表面の正規密度と入力されたマルチビュー画像は、新しいコストボリュームフィルタリングネットワークに入力され、画素ごとの深さと表面の正常を回復する。
反射率も幾何再構成と交互に推定される。
新しく確立された合成および実世界のデータセットの広範囲な定量的評価は、nlmvs-netが自然環境において複雑な物体の形状と反射率をロバストかつ正確に回復できることを示している。
関連論文リスト
- NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。
偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。
我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
論文 参考訳（メタデータ） (2024-06-11T09:53:18Z) - Uncertainty-Aware Deep Multi-View Photometric Stereo [100.97116470055273]
光度ステレオ(PS)は高周波表面の細部を復元するのに優れ、マルチビューステレオ(MVS)はPSによる低周波歪みを除去し、大域的な形状を維持するのに役立つ。
本稿では,PS と MVS の相補的強みを効果的に活用する手法を提案する。
我々は,不確実性を考慮したディープPSネットワークとディープMVSネットワークを用いて,画素ごとの表面の正規度と深さを推定する。
論文 参考訳（メタデータ） (2022-02-26T05:45:52Z) - Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。
我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。
本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
論文 参考訳（メタデータ） (2021-10-11T20:20:03Z) - Learning Signed Distance Field for Multi-view Surface Reconstruction [24.090786783370195]
ステレオマッチングと特徴整合性の知識を生かした新しいニューラルネットワーク表面再構成フレームワークを提案する。
サインされた距離場(SDF)と表面光場(SDF)をそれぞれ、シーン形状と外観を表すために適用する。
本手法は,地形推定のロバスト性を向上し,複雑なシーントポロジの再構築を支援する。
論文 参考訳（メタデータ） (2021-08-23T06:23:50Z) - UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields for
Multi-View Reconstruction [61.17219252031391]
ニューラル暗黙的3D表現を用いた多視点画像から表面を再構築する新しい手法を提案する。
我々の重要な洞察は、暗黙の曲面モデルと放射場を統一的に定式化し、表面および体積のレンダリングを可能にすることである。
実験により, マスクを必要とせず, idrと同等の性能を保ちつつ, 再構成品質でnrfを上回った。
論文 参考訳（メタデータ） (2021-04-20T15:59:38Z) - One Ring to Rule Them All: a simple solution to multi-view
3D-Reconstruction of shapes with unknown BRDF via a small Recurrent ResNet [96.11203962525443]
本論文では, 表面材料が不明な物体に対して, マルチビュー3D-Reviewの解法を提案する。
オブジェクトは任意に(例えば)持つことができる。
非ランベルティアン)、空間的に変動する(またはどこでも異なる)表面反射率(svBRDF)
提案手法は, 新たな視点合成, リライト, 材料リライト, 形状交換を伴わずに行う。
論文 参考訳（メタデータ） (2021-04-11T13:39:31Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。