論文の概要: NPLMV-PS: Neural Point-Light Multi-View Photometric Stereo
- arxiv url: http://arxiv.org/abs/2405.12057v1
- Date: Mon, 20 May 2024 14:26:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 13:05:04.707384
- Title: NPLMV-PS: Neural Point-Light Multi-View Photometric Stereo
- Title（参考訳）: NPLMV-PS:ニューラルポイントライト多視点光度ステレオ
- Authors: Fotios Logothetis, Ignas Budvytis, Roberto Cipolla,
- Abstract要約: 本稿では,新しい多視点測光ステレオ(PS)法を提案する。
我々は、主に推定正規度に依存するのではなく、画素ごとの強度レンダリングを明示的に活用する。
低光数シナリオでは、画素レンダリングが通常の推定値の代わりに使用される場合、0.27mmのチャンファー距離を達成し、低光数シナリオにおいて、弱い正規に対してロバスト性を示す。
- 参考スコア（独自算出の注目度）: 32.39157133181186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work we present a novel multi-view photometric stereo (PS) method. Like many works in 3D reconstruction we are leveraging neural shape representations and learnt renderers. However, our work differs from the state-of-the-art multi-view PS methods such as PS-NeRF or SuperNormal we explicity leverage per-pixel intensity renderings rather than relying mainly on estimated normals. We model point light attenuation and explicitly raytrace cast shadows in order to best approximate each points incoming radiance. This is used as input to a fully neural material renderer that uses minimal prior assumptions and it is jointly optimised with the surface. Finally, estimated normal and segmentation maps can also incorporated in order to maximise the surface accuracy. Our method is among the first to outperform the classical approach of DiLiGenT-MV and achieves average 0.2mm Chamfer distance for objects imaged at approx 1.5m distance away with approximate 400x400 resolution. Moreover, we show robustness to poor normals in low light count scenario, achieving 0.27mm Chamfer distance when pixel rendering is used instead of estimated normals.
- Abstract（参考訳）: 本稿では,新しい多視点測光ステレオ(PS)法を提案する。
3D再構築における多くの作業と同様に、私たちはニューラルネットワークの形状表現と学習用レンダラーを活用しています。
しかし,本研究はPS-NeRFやSuperNormalのような最先端の多視点PS法とは異なる。
我々は、各点の放射率を最適に近似するために、点光減衰と明示的にレイトラスキャストシャドーをモデル化する。
これは、最小の事前仮定を使用し、表面と共同最適化される完全なニューラルネットワーク材料レンダラーへの入力として使用される。
最後に、表面の精度を最大化するために、推定された正規写像と分割写像も組み込むことができる。
提案手法は,DiLiGenT-MVの古典的アプローチを初めて上回り,約400×400の解像度で1.5m離れた物体に対して平均0.2mmのチャンファー距離を実現する。
また、低光数シナリオでは、画素レンダリングが推定値の代わりに使用される場合、0.27mmのチャンファー距離が得られる。
関連論文リスト
- RNb-NeuS: Reflectance and Normal-based Multi-View 3D Reconstruction [3.1820300989695833]
本稿では,光度ステレオにより得られる多視点反射率と正規写像を統合するための多目的パラダイムを提案する。
提案手法では, 反射率と正規度の画素ワイドな共同パラメータ化を, 放射光のベクトルとして用いた。
これは、高い曲率または低い視認性を持つ領域の詳細な3D再構成を大幅に改善する。
論文 参考訳（メタデータ） (2023-12-02T19:49:27Z) - A Neural Height-Map Approach for the Binocular Photometric Stereo
Problem [36.404880059833324]
双眼鏡測光ステレオ(PS)フレームワークは単視PSと同じ取得速度を持つが、推定幾何の質は著しく向上する。
本手法は両眼立体装置に適応したDiLiGenT-MVデータセットの最先端性能と新しい両眼測光ステレオデータセットLUCES-STを実現する。
論文 参考訳（メタデータ） (2023-11-10T09:45:53Z) - Deep Learning Methods for Calibrated Photometric Stereo and Beyond [86.57469194387264]
光度ステレオは、さまざまなシェーディングキューを持つ複数の画像から物体の表面の正常性を回復する。
深層学習法は、非ランベルト面に対する測光ステレオの文脈において強力な能力を示している。
論文 参考訳（メタデータ） (2022-12-16T11:27:44Z) - Multi-View Photometric Stereo Revisited [100.97116470055273]
多視点測光ステレオ(MVPS)は、画像から被写体を詳細に正確に3D取得する方法として好まれる。
MVPSは異方性や光沢などの他の対象物質と同様に,等方性に対しても有効である。
提案手法は、複数のベンチマークデータセットで広範囲にテストした場合に、最先端の結果を示す。
論文 参考訳（メタデータ） (2022-10-14T09:46:15Z) - A CNN Based Approach for the Point-Light Photometric Stereo Problem [26.958763133729846]
本稿では、遠距離場光度ステレオにおける深部ニューラルネットワークの最近の改良を活用して、現実的な仮定を処理できるCNNベースのアプローチを提案する。
われわれのアプローチは、DiLiGenT実世界のデータセットの最先端よりも優れている。
近距離点光源PSデータに対する我々のアプローチの性能を測定するため、LUCESを「近距離点光のための最初の実世界のデータセット」として紹介する。
論文 参考訳（メタデータ） (2022-10-10T12:57:12Z) - PS-NeRF: Neural Inverse Rendering for Multi-view Photometric Stereo [22.42916940712357]
本稿では,暗黙表現に基づくMVPSのニューラルネットワーク逆レンダリング手法を提案する。
本手法は既存のMVPSやニューラルレンダリング法よりもはるかに正確な形状再構成を実現する。
論文 参考訳（メタデータ） (2022-07-23T03:55:18Z) - Facial Depth and Normal Estimation using Single Dual-Pixel Camera [81.02680586859105]
DP指向のDepth/Normalネットワークを導入し,3次元顔形状を再構成する。
これは、メートル法スケールでの深度マップと表面正規を含む、対応する地上3次元モデルを含んでいる。
近年のDPベース深度/正規推定法で最先端の性能を実現している。
論文 参考訳（メタデータ） (2021-11-25T05:59:27Z) - Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。
我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。
本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
論文 参考訳（メタデータ） (2021-10-11T20:20:03Z) - Portrait Neural Radiance Fields from a Single Image [68.66958204066721]
本稿では,単一のポートレートからニューラルラジアンス場(NeRF)を推定する手法を提案する。
体積密度を暗黙的にモデル化する多層パーセプトロン(MLP)の重みを事前に訓練することを提案する。
非知覚面の一般化を改善するため、3次元顔変形モデルによって近似される正準座標空間を訓練する。
本手法は,制御されたキャプチャを用いて定量的に評価し,実画像への一般化を実証し,最先端画像に対して良好な結果を示す。
論文 参考訳（メタデータ） (2020-12-10T18:59:59Z) - Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset
for Spatially Varying Isotropic Materials [65.95928593628128]
多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。
我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
論文 参考訳（メタデータ） (2020-01-18T12:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。