論文の概要: PS-NeRF: Neural Inverse Rendering for Multi-view Photometric Stereo
- arxiv url: http://arxiv.org/abs/2207.11406v1
- Date: Sat, 23 Jul 2022 03:55:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-26 13:26:05.253187
- Title: PS-NeRF: Neural Inverse Rendering for Multi-view Photometric Stereo
- Title(参考訳): ps-nerf:マルチビューフォトメトリックステレオのためのニューラルネットワーク逆レンダリング
- Authors: Wenqi Yang, Guanying Chen, Chaofeng Chen, Zhenfang Chen, Kwan-Yee K.
Wong
- Abstract要約: 本稿では,暗黙表現に基づくMVPSのニューラルネットワーク逆レンダリング手法を提案する。
本手法は既存のMVPSやニューラルレンダリング法よりもはるかに正確な形状再構成を実現する。
- 参考スコア(独自算出の注目度): 22.42916940712357
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional multi-view photometric stereo (MVPS) methods are often composed
of multiple disjoint stages, resulting in noticeable accumulated errors. In
this paper, we present a neural inverse rendering method for MVPS based on
implicit representation. Given multi-view images of a non-Lambertian object
illuminated by multiple unknown directional lights, our method jointly
estimates the geometry, materials, and lights. Our method first employs
multi-light images to estimate per-view surface normal maps, which are used to
regularize the normals derived from the neural radiance field. It then jointly
optimizes the surface normals, spatially-varying BRDFs, and lights based on a
shadow-aware differentiable rendering layer. After optimization, the
reconstructed object can be used for novel-view rendering, relighting, and
material editing. Experiments on both synthetic and real datasets demonstrate
that our method achieves far more accurate shape reconstruction than existing
MVPS and neural rendering methods. Our code and model can be found at
https://ywq.github.io/psnerf.
- Abstract(参考訳): 従来の多視点測光ステレオ(MVPS)法は、しばしば複数の解離した段階で構成され、顕著な累積誤差をもたらす。
本稿では,暗黙表現に基づくMVPSのニューラルネットワーク逆レンダリング手法を提案する。
複数の未知の方向光で照らされた非ランベルト天体の多視点画像から、この手法は幾何学、材料、光を共同で推定する。
提案手法では,まずマルチライト画像を用いて視線面の正規分布を推定し,ニューラル放射場から得られる正規分布を正規化する。
すると、表面の正常、空間的に変化するBRDF、およびシャドーアウェアの異なるレンダリング層に基づくライトを共同で最適化する。
最適化後、再構成されたオブジェクトは、ノベルビューレンダリング、リライト、素材編集に使用できる。
合成データと実データの両方を用いた実験により,既存のMVPSやニューラルレンダリング法よりもはるかに正確な形状再構成が得られた。
コードとモデルはhttps://ywq.github.io/psnerfで確認できます。
関連論文リスト
- GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [76.52007427483396]
GIRは3次元ガウス逆レンダリング法である。
本手法は,多視点画像から物体の材料特性,照明,形状を推定するために3次元ガウス法を用いる。
論文 参考訳(メタデータ) (2023-12-08T16:05:15Z) - NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field
Indirect Illumination [48.42173911185454]
逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。
本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
論文 参考訳(メタデータ) (2023-03-29T12:05:19Z) - Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。
副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
論文 参考訳(メタデータ) (2022-12-09T07:33:49Z) - Multi-View Mesh Reconstruction with Neural Deferred Shading [0.8514420632209809]
最先端の手法では、ニューラルサーフェス表現とニューラルシェーディングの両方を用いる。
曲面を三角形メッシュとして表現し、三角形の描画とニューラルシェーディングを中心に、微分可能なレンダリングパイプラインを構築します。
パブリックな3次元再構成データセットを用いてランタイムの評価を行い、最適化において従来のベースラインの復元精度を上回りながら、従来のベースラインの再構築精度に適合できることを示す。
論文 参考訳(メタデータ) (2022-12-08T16:29:46Z) - S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a
Single Viewpoint [22.42916940712357]
本手法は,シーンの3次元形状とBRDFを表現するために,ニューラルリフレクタンス場を学習する。
本手法は,一視点画像からシーンの可視部分と可視部分の両方を含む3次元形状を復元することができる。
新規ビュー合成やリライトといったアプリケーションをサポートする。
論文 参考訳(メタデータ) (2022-10-17T11:01:52Z) - Estimating Neural Reflectance Field from Radiance Field using Tree
Structures [29.431165709718794]
本研究では,物体のニューラルリフレクタンス場(NReF)を,未知の照明下での多視点画像の集合から推定する手法を提案する。
NReFは3次元形状と物体の視認性を表しており、画像のみから推定することは困難である。
提案手法は,Neural Radiance Field (NeRF) をプロキシ表現として利用することでこの問題を解決し,さらに分解を行う。
論文 参考訳(メタデータ) (2022-10-09T10:21:31Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z) - Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。
我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。
本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
論文 参考訳(メタデータ) (2021-10-11T20:20:03Z) - MVSNeRF: Fast Generalizable Radiance Field Reconstruction from
Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。
高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-03-29T13:15:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。