論文の概要: NeuS-PIR: Learning Relightable Neural Surface using Pre-Integrated
Rendering
- arxiv url: http://arxiv.org/abs/2306.07632v1
- Date: Tue, 13 Jun 2023 09:02:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 14:32:29.809135
- Title: NeuS-PIR: Learning Relightable Neural Surface using Pre-Integrated
Rendering
- Title(参考訳): NeuS-PIR: 先行Renderingを用いた可照性ニューラルサーフェス学習
- Authors: Shi Mao, Chenming Wu, Zhelun Shen, Liangjun Zhang
- Abstract要約: NeuS-PIRは、放射場を空間的に変化する物質場と微分可能な環境立方体マップに分解し、ニューラルサーフェスで表される幾何学と共同で学習する手法である。
提案手法は, 合成データと実データの両方において, 最先端の手法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 9.205005016314624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in neural implicit fields enables rapidly reconstructing 3D
geometry from multi-view images. Beyond that, recovering physical properties
such as material and illumination is essential for enabling more applications.
This paper presents a new method that effectively learns relightable neural
surface using pre-intergrated rendering, which simultaneously learns geometry,
material and illumination within the neural implicit field. The key insight of
our work is that these properties are closely related to each other, and
optimizing them in a collaborative manner would lead to consistent
improvements. Specifically, we propose NeuS-PIR, a method that factorizes the
radiance field into a spatially varying material field and a differentiable
environment cubemap, and jointly learns it with geometry represented by neural
surface. Our experiments demonstrate that the proposed method outperforms the
state-of-the-art method in both synthetic and real datasets.
- Abstract(参考訳): ニューラル暗黙界の最近の進歩は、多視点画像から素早く3次元幾何学を再構築することができる。
さらに、材料や照明などの物理的特性の回復は、より多くの応用を可能にするために不可欠である。
本稿では,ニューラルネットワークの暗黙的領域における幾何,物質,照明を同時に学習する,事前入力されたレンダリングを用いて,学習可能な神経表面を効果的に学習する新しい手法を提案する。
私たちの研究の重要な洞察は、これらの特性が互いに密接に関連していて、協調的に最適化することで、一貫した改善につながるということです。
具体的には,放射場を空間的に変化する物質場と微分可能な環境キューブマップに分解し,神経表面で表される幾何学と共同で学習する手法であるneus-pirを提案する。
提案手法は,合成データと実データの両方において最先端手法よりも優れていることを示す。
関連論文リスト
- DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳(メタデータ) (2023-11-30T21:34:44Z) - NePF: Neural Photon Field for Single-Stage Inverse Rendering [6.977356702921476]
多視点画像の逆レンダリングに対処するために,新しい単一ステージフレームワークNePF(Neural Photon Field)を提案する。
NePFは、神経暗黙表面の重み関数の背後にある物理的意味を完全に活用することで、この統一を実現する。
我々は本手法を実データと合成データの両方で評価する。
論文 参考訳(メタデータ) (2023-11-20T06:15:46Z) - CeRF: Convolutional Neural Radiance Fields for New View Synthesis with
Derivatives of Ray Modeling [16.382750144277868]
我々は、光線に沿った放射の微分をモデル化するために、コナールニューラルレージアンス場を導入する。
提案手法は, 1次元畳み込み演算に基づいて, 構造化ニューラルネットワークアーキテクチャによる潜在的光線表現を効果的に抽出する。
論文 参考訳(メタデータ) (2023-07-14T02:26:05Z) - Neural Relighting with Subsurface Scattering by Learning the Radiance
Transfer Gradient [73.52585139592398]
本稿では,ボリュームレンダリングによる放射移動場学習のための新しいフレームワークを提案する。
我々は、我々のコードと、地下散乱効果を持つ新しい光ステージのオブジェクトデータセットを公開します。
論文 参考訳(メタデータ) (2023-06-15T17:56:04Z) - NeILF++: Inter-Reflectable Light Fields for Geometry and Material
Estimation [36.09503501647977]
我々は静的なシーンの照明を1つのニューラルインシデント光場(NeILF)と1つのニューラルラディアンス場(NeRF)として定式化する。
提案手法は, 幾何再構成の品質, 材料推定精度, 新規なビューレンダリングの忠実度の観点から, 最先端の結果が得られる。
論文 参考訳(メタデータ) (2023-03-30T04:59:48Z) - Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。
副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
論文 参考訳(メタデータ) (2022-12-09T07:33:49Z) - Estimating Neural Reflectance Field from Radiance Field using Tree
Structures [29.431165709718794]
本研究では,物体のニューラルリフレクタンス場(NReF)を,未知の照明下での多視点画像の集合から推定する手法を提案する。
NReFは3次元形状と物体の視認性を表しており、画像のみから推定することは困難である。
提案手法は,Neural Radiance Field (NeRF) をプロキシ表現として利用することでこの問題を解決し,さらに分解を行う。
論文 参考訳(メタデータ) (2022-10-09T10:21:31Z) - Geo-NI: Geometry-aware Neural Interpolation for Light Field Rendering [57.775678643512435]
光場レンダリングのためのGeo-NI(Geometry-aware Neural Interpolation)フレームワークを提案する。
NIとDIBRの優位性を組み合わせることで、提案したGeo-NIは、大きな差異でビューをレンダリングすることができる。
論文 参考訳(メタデータ) (2022-06-20T12:25:34Z) - Intrinsic Neural Fields: Learning Functions on Manifolds [45.269698580847916]
内在神経場は、ニューラルネットワークの利点とラプラス・ベルトラミ作用素のスペクトル特性を結合する。
内在型ニューラルネットワークは、最先端の画質で画像から高品質なテクスチャを再構築できることを示す。
様々なアプリケーションに対処することで,本質的ニューラルネットワークの汎用性を実証する。
論文 参考訳(メタデータ) (2022-03-15T14:52:52Z) - PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for
Single-Image Novel View Synthesis [52.546998369121354]
シングルビューRGB画像からニューラル放射場を再構成する学習フレームワークPVSeRFを提案する。
本稿では,明示的な幾何学的推論を取り入れ,放射場予測のための画素アラインな特徴と組み合わせることを提案する。
このような幾何学的特徴の導入は、外観と幾何学の絡み合いを改善するのに有効であることを示す。
論文 参考訳(メタデータ) (2022-02-10T07:39:47Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。