論文の概要: NPLMV-PS: Neural Point-Light Multi-View Photometric Stereo
- arxiv url: http://arxiv.org/abs/2405.12057v2
- Date: Mon, 22 Jul 2024 17:52:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 01:31:23.016596
- Title: NPLMV-PS: Neural Point-Light Multi-View Photometric Stereo
- Title（参考訳）: NPLMV-PS:ニューラルポイントライト多視点光度ステレオ
- Authors: Fotios Logothetis, Ignas Budvytis, Roberto Cipolla,
- Abstract要約: 本稿では,新しい多視点測光ステレオ(MVPS)法を提案する。
我々の研究は、現在最先端のマルチビューPS-NeRFやスーパーノーマルと異なり、ピクセルごとの強度レンダリングを明示的に活用しています。
提案手法は,DiLiGenT-MVベンチマークで提案した古典的MVPS手法よりも優れていた。
- 参考スコア（独自算出の注目度）: 32.39157133181186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work we present a novel multi-view photometric stereo (MVPS) method. Like many works in 3D reconstruction we are leveraging neural shape representations and learnt renderers. However, our work differs from the state-of-the-art multi-view PS methods such as PS-NeRF or Supernormal in that we explicitly leverage per-pixel intensity renderings rather than relying mainly on estimated normals. We model point light attenuation and explicitly raytrace cast shadows in order to best approximate the incoming radiance for each point. The estimated incoming radiance is used as input to a fully neural material renderer that uses minimal prior assumptions and it is jointly optimised with the surface. Estimated normals and segmentation maps are also incorporated in order to maximise the surface accuracy. Our method is among the first (along with Supernormal) to outperform the classical MVPS approach proposed by the DiLiGenT-MV benchmark and achieves average 0.2mm Chamfer distance for objects imaged at approx 1.5m distance away with approximate 400x400 resolution. Moreover, our method shows high robustness to the sparse MVPS setup (6 views, 6 lights) greatly outperforming the SOTA competitor (0.38mm vs 0.61mm), illustrating the importance of neural rendering in multi-view photometric stereo.
- Abstract（参考訳）: 本稿では,新しい多視点測光ステレオ(MVPS)法を提案する。
3D再構築における多くの作業と同様に、私たちはニューラルな形状の表現と学習用レンダラーを活用しています。
しかし、PS-NeRFやスーパーノーマルのような最先端の多視点PS法とは異なり、主に推定正規に依存するのではなく、画素ごとの強度レンダリングを明示的に活用する。
我々は、各点の入射放射率を最適に近似するために、点光減衰と明示的にレイトラスキャスト影をモデル化する。
推定された入射放射は、最小の事前仮定を使用し、表面と共同最適化される完全なニューラルネットワーク材料レンダラーへの入力として使用される。
推定正規度や分割写像も、表面の精度を最大化するために組み込まれている。
提案手法は,DiLiGenT-MVベンチマークで提案した従来のMVPS手法よりも優れており,約400×400の解像度で1.5m離れた物体に対して平均0.2mmのチャンファー距離を達成している。
さらに,多視点フォトメトリステレオにおけるニューラルレンダリングの重要性を示唆し,SOTAコンペティタ(0.38mm vs 0.61mm)を著しく上回り,スパルスMVPSセットアップ(6ビュー,6ライト)に対するロバスト性を示した。
関連論文リスト
- RNb-NeuS: Reflectance and Normal-based Multi-View 3D Reconstruction [3.1820300989695833]
本稿では,光度ステレオにより得られる多視点反射率と正規写像を統合するための多目的パラダイムを提案する。
提案手法では, 反射率と正規度の画素ワイドな共同パラメータ化を, 放射光のベクトルとして用いた。
これは、高い曲率または低い視認性を持つ領域の詳細な3D再構成を大幅に改善する。
論文 参考訳（メタデータ） (2023-12-02T19:49:27Z) - A Neural Height-Map Approach for the Binocular Photometric Stereo
Problem [36.404880059833324]
双眼鏡測光ステレオ(PS)フレームワークは単視PSと同じ取得速度を持つが、推定幾何の質は著しく向上する。
本手法は両眼立体装置に適応したDiLiGenT-MVデータセットの最先端性能と新しい両眼測光ステレオデータセットLUCES-STを実現する。
論文 参考訳（メタデータ） (2023-11-10T09:45:53Z) - Deep Learning Methods for Calibrated Photometric Stereo and Beyond [86.57469194387264]
光度ステレオは、さまざまなシェーディングキューを持つ複数の画像から物体の表面の正常性を回復する。
深層学習法は、非ランベルト面に対する測光ステレオの文脈において強力な能力を示している。
論文 参考訳（メタデータ） (2022-12-16T11:27:44Z) - Multi-View Photometric Stereo Revisited [100.97116470055273]
多視点測光ステレオ(MVPS)は、画像から被写体を詳細に正確に3D取得する方法として好まれる。
MVPSは異方性や光沢などの他の対象物質と同様に,等方性に対しても有効である。
提案手法は、複数のベンチマークデータセットで広範囲にテストした場合に、最先端の結果を示す。
論文 参考訳（メタデータ） (2022-10-14T09:46:15Z) - A CNN Based Approach for the Point-Light Photometric Stereo Problem [26.958763133729846]
本稿では、遠距離場光度ステレオにおける深部ニューラルネットワークの最近の改良を活用して、現実的な仮定を処理できるCNNベースのアプローチを提案する。
われわれのアプローチは、DiLiGenT実世界のデータセットの最先端よりも優れている。
近距離点光源PSデータに対する我々のアプローチの性能を測定するため、LUCESを「近距離点光のための最初の実世界のデータセット」として紹介する。
論文 参考訳（メタデータ） (2022-10-10T12:57:12Z) - PS-NeRF: Neural Inverse Rendering for Multi-view Photometric Stereo [22.42916940712357]
本稿では,暗黙表現に基づくMVPSのニューラルネットワーク逆レンダリング手法を提案する。
本手法は既存のMVPSやニューラルレンダリング法よりもはるかに正確な形状再構成を実現する。
論文 参考訳（メタデータ） (2022-07-23T03:55:18Z) - Facial Depth and Normal Estimation using Single Dual-Pixel Camera [81.02680586859105]
DP指向のDepth/Normalネットワークを導入し,3次元顔形状を再構成する。
これは、メートル法スケールでの深度マップと表面正規を含む、対応する地上3次元モデルを含んでいる。
近年のDPベース深度/正規推定法で最先端の性能を実現している。
論文 参考訳（メタデータ） (2021-11-25T05:59:27Z) - Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。
我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。
本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
論文 参考訳（メタデータ） (2021-10-11T20:20:03Z) - Portrait Neural Radiance Fields from a Single Image [68.66958204066721]
本稿では,単一のポートレートからニューラルラジアンス場(NeRF)を推定する手法を提案する。
体積密度を暗黙的にモデル化する多層パーセプトロン(MLP)の重みを事前に訓練することを提案する。
非知覚面の一般化を改善するため、3次元顔変形モデルによって近似される正準座標空間を訓練する。
本手法は,制御されたキャプチャを用いて定量的に評価し,実画像への一般化を実証し,最先端画像に対して良好な結果を示す。
論文 参考訳（メタデータ） (2020-12-10T18:59:59Z) - Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset
for Spatially Varying Isotropic Materials [65.95928593628128]
多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。
我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
論文 参考訳（メタデータ） (2020-01-18T12:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。