論文の概要: RISE-SDF: a Relightable Information-Shared Signed Distance Field for Glossy Object Inverse Rendering

• arxiv url: http://arxiv.org/abs/2409.20140v1
• Date: Mon, 30 Sep 2024 09:42:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 13:17:59.015639
• Title: RISE-SDF: a Relightable Information-Shared Signed Distance Field for Glossy Object Inverse Rendering
• Title（参考訳）: RISE-SDF:Glossy Object Inverse Renderingのための再生可能な情報共有符号付き距離場
• Authors: Deheng Zhang, Jingyu Wang, Shaofei Wang, Marko Mihajlovic, Sergey Prokudin, Hendrik P. A. Lensch, Siyu Tang,
• Abstract要約: そこで我々は,幾何学と材料特性の高品質な再構成を実現する,新しいエンドツーエンドのリライタブル・ニューラル・リバースレンダリングシステムを提案する。 提案アルゴリズムは, 逆レンダリングおよびリライティングにおける最先端性能を実現し, 特に高反射率物体の再構成に強い結果が得られた。
• 参考スコア（独自算出の注目度）: 26.988572852463815
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we propose a novel end-to-end relightable neural inverse rendering system that achieves high-quality reconstruction of geometry and material properties, thus enabling high-quality relighting. The cornerstone of our method is a two-stage approach for learning a better factorization of scene parameters. In the first stage, we develop a reflection-aware radiance field using a neural signed distance field (SDF) as the geometry representation and deploy an MLP (multilayer perceptron) to estimate indirect illumination. In the second stage, we introduce a novel information-sharing network structure to jointly learn the radiance field and the physically based factorization of the scene. For the physically based factorization, to reduce the noise caused by Monte Carlo sampling, we apply a split-sum approximation with a simplified Disney BRDF and cube mipmap as the environment light representation. In the relighting phase, to enhance the quality of indirect illumination, we propose a second split-sum algorithm to trace secondary rays under the split-sum rendering framework.Furthermore, there is no dataset or protocol available to quantitatively evaluate the inverse rendering performance for glossy objects. To assess the quality of material reconstruction and relighting, we have created a new dataset with ground truth BRDF parameters and relighting results. Our experiments demonstrate that our algorithm achieves state-of-the-art performance in inverse rendering and relighting, with particularly strong results in the reconstruction of highly reflective objects.
• Abstract（参考訳）: 本稿では, 高品質な形状と材料特性の再構成を実現し, 高品質なリライトを実現する, エンド・ツー・エンドなニューラル・リバースレンダリングシステムを提案する。 本手法の基礎は,シーンパラメータのより優れた分解法を学習するための2段階のアプローチである。 第1段階では、形状表現としてニューラルサイン距離場(SDF)を用い、間接照明を推定するためにMLP(multilayer perceptron)を配置する反射型放射場を開発する。 第2段階では,新たな情報共有ネットワーク構造を導入し,ラディアンス場とシーンの物理的因子化を共同で学習する。 モンテカルロサンプリングによるノイズを低減するために,ディズニーBRDFと立方体ミップマップを簡易化した分割サム近似を環境光表現として適用した。 また,光沢オブジェクトの逆レンダリング性能を定量的に評価するためのデータセットやプロトコルは存在しない。 材料復元とリライティングの質を評価するため, BRDFパラメータとリライティング結果を用いた新しいデータセットを構築した。 実験により, 逆レンダリングとリライティングにおいて, 高い反射率を持つ物体の再構成に強い結果が得られた。

関連論文リスト

• PBIR-NIE: Glossy Object Capture under Non-Distant Lighting [30.325872237020395]
  グロッシーオブジェクトは自然光下での多視点入力画像から3次元再構成を行う上で重要な課題となる。 PBIR-NIEは, 物体の形状, 材料特性, 周囲の照明を均等に捉えるために設計された逆レンダリングフレームワークである。
  論文  参考訳（メタデータ） (2024-08-13T13:26:24Z)
• Inverse Rendering of Glossy Objects via the Neural Plenoptic Function and Radiance Fields [45.64333510966844]
  逆レンダリングは、オブジェクトの幾何学と材料の両方を復元することを目的としている。 我々は、NeRFとレイトレーシングに基づく新しい5次元ニューラルプレノプティクス関数(NeP)を提案する。 本手法は, 近くの物体からの複雑な光の相互作用により, 難解な光沢のある物体の高忠実な形状・材料を再構成することができる。
  論文  参考訳（メタデータ） (2024-03-24T16:34:47Z)
• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• NeuS-PIR: Learning Relightable Neural Surface using Pre-Integrated Rendering [23.482941494283978]
  本稿では,マルチビュー画像やビデオから可照性神経表面を復元するNeuS-PIR法を提案する。 NeRFや離散メッシュに基づく手法とは異なり,提案手法は暗黙のニューラルサーフェス表現を用いて高品質な幾何学を再構築する。 本手法は,現代のグラフィックスエンジンとシームレスに統合可能なリライトなどの高度なアプリケーションを実現する。
  論文  参考訳（メタデータ） (2023-06-13T09:02:57Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination [48.42173911185454]
  逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。 本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-29T12:05:19Z)
• NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination [60.89737319987051]
  照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。 これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
  論文  参考訳（メタデータ） (2021-06-03T16:18:01Z)
• Light Field Reconstruction Using Convolutional Network on EPI and Extended Applications [78.63280020581662]
  スパースビューからの光場再構成のための新しい畳み込みニューラルネットワーク(CNN)ベースのフレームワークを開発した。 最先端のアルゴリズムと比較して,提案フレームワークの高性能と堅牢性を実証する。
  論文  参考訳（メタデータ） (2021-03-24T08:16:32Z)
• Neural BRDF Representation and Importance Sampling [79.84316447473873]
  本稿では,リフレクタンスBRDFデータのコンパクトニューラルネットワークに基づく表現について述べる。 BRDFを軽量ネットワークとしてエンコードし、適応角サンプリングによるトレーニングスキームを提案する。 複数の実世界のデータセットから等方性および異方性BRDFの符号化結果を評価する。
  論文  参考訳（メタデータ） (2021-02-11T12:00:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。