論文の概要: PS-NeRF: Neural Inverse Rendering for Multi-view Photometric Stereo

• arxiv url: http://arxiv.org/abs/2207.11406v1
• Date: Sat, 23 Jul 2022 03:55:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 13:26:05.253187
• Title: PS-NeRF: Neural Inverse Rendering for Multi-view Photometric Stereo
• Title（参考訳）: ps-nerf:マルチビューフォトメトリックステレオのためのニューラルネットワーク逆レンダリング
• Authors: Wenqi Yang, Guanying Chen, Chaofeng Chen, Zhenfang Chen, Kwan-Yee K. Wong
• Abstract要約: 本稿では,暗黙表現に基づくMVPSのニューラルネットワーク逆レンダリング手法を提案する。 本手法は既存のMVPSやニューラルレンダリング法よりもはるかに正確な形状再構成を実現する。
• 参考スコア（独自算出の注目度）: 22.42916940712357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional multi-view photometric stereo (MVPS) methods are often composed of multiple disjoint stages, resulting in noticeable accumulated errors. In this paper, we present a neural inverse rendering method for MVPS based on implicit representation. Given multi-view images of a non-Lambertian object illuminated by multiple unknown directional lights, our method jointly estimates the geometry, materials, and lights. Our method first employs multi-light images to estimate per-view surface normal maps, which are used to regularize the normals derived from the neural radiance field. It then jointly optimizes the surface normals, spatially-varying BRDFs, and lights based on a shadow-aware differentiable rendering layer. After optimization, the reconstructed object can be used for novel-view rendering, relighting, and material editing. Experiments on both synthetic and real datasets demonstrate that our method achieves far more accurate shape reconstruction than existing MVPS and neural rendering methods. Our code and model can be found at https://ywq.github.io/psnerf.
• Abstract（参考訳）: 従来の多視点測光ステレオ(MVPS)法は、しばしば複数の解離した段階で構成され、顕著な累積誤差をもたらす。 本稿では,暗黙表現に基づくMVPSのニューラルネットワーク逆レンダリング手法を提案する。 複数の未知の方向光で照らされた非ランベルト天体の多視点画像から、この手法は幾何学、材料、光を共同で推定する。 提案手法では,まずマルチライト画像を用いて視線面の正規分布を推定し,ニューラル放射場から得られる正規分布を正規化する。 すると、表面の正常、空間的に変化するBRDF、およびシャドーアウェアの異なるレンダリング層に基づくライトを共同で最適化する。 最適化後、再構成されたオブジェクトは、ノベルビューレンダリング、リライト、素材編集に使用できる。 合成データと実データの両方を用いた実験により,既存のMVPSやニューラルレンダリング法よりもはるかに正確な形状再構成が得られた。 コードとモデルはhttps://ywq.github.io/psnerfで確認できます。

関連論文リスト

• NPLMV-PS: Neural Point-Light Multi-View Photometric Stereo [32.39157133181186]
  本稿では,新しい多視点測光ステレオ(MVPS)法を提案する。 我々の研究は、現在最先端のマルチビューPS-NeRFやスーパーノーマルと異なり、ピクセルごとの強度レンダリングを明示的に活用しています。 提案手法は,DiLiGenT-MVベンチマークで提案した古典的MVPS手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-05-20T14:26:07Z)
• NeuS-PIR: Learning Relightable Neural Surface using Pre-Integrated Rendering [23.482941494283978]
  本稿では,マルチビュー画像やビデオから可照性神経表面を復元するNeuS-PIR法を提案する。 NeRFや離散メッシュに基づく手法とは異なり,提案手法は暗黙のニューラルサーフェス表現を用いて高品質な幾何学を再構築する。 本手法は,現代のグラフィックスエンジンとシームレスに統合可能なリライトなどの高度なアプリケーションを実現する。
  論文  参考訳（メタデータ） (2023-06-13T09:02:57Z)
• NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination [48.42173911185454]
  逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。 本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-29T12:05:19Z)
• Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
  本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。 副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
  論文  参考訳（メタデータ） (2022-12-09T07:33:49Z)
• Multi-View Mesh Reconstruction with Neural Deferred Shading [0.8514420632209809]
  最先端の手法では、ニューラルサーフェス表現とニューラルシェーディングの両方を用いる。 曲面を三角形メッシュとして表現し、三角形の描画とニューラルシェーディングを中心に、微分可能なレンダリングパイプラインを構築します。 パブリックな3次元再構成データセットを用いてランタイムの評価を行い、最適化において従来のベースラインの復元精度を上回りながら、従来のベースラインの再構築精度に適合できることを示す。
  論文  参考訳（メタデータ） (2022-12-08T16:29:46Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
  多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。 我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。 本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
  論文  参考訳（メタデータ） (2021-10-11T20:20:03Z)
• Light Field Networks: Neural Scene Representations with Single-Evaluation Rendering [60.02806355570514]
  2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。 そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。 LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
  論文  参考訳（メタデータ） (2021-06-04T17:54:49Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。