論文の概要: Inverse Rendering of Glossy Objects via the Neural Plenoptic Function and Radiance Fields

• arxiv url: http://arxiv.org/abs/2403.16224v1
• Date: Sun, 24 Mar 2024 16:34:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 16:56:25.765086
• Title: Inverse Rendering of Glossy Objects via the Neural Plenoptic Function and Radiance Fields
• Title（参考訳）: ニューラル・プレノプティカル・ファンクションと放射場を用いた光沢物体の逆レンダリング
• Authors: Haoyuan Wang, Wenbo Hu, Lei Zhu, Rynson W. H. Lau,
• Abstract要約: 逆レンダリングは、オブジェクトの幾何学と材料の両方を復元することを目的としている。 我々は、NeRFとレイトレーシングに基づく新しい5次元ニューラルプレノプティクス関数(NeP)を提案する。 本手法は, 近くの物体からの複雑な光の相互作用により, 難解な光沢のある物体の高忠実な形状・材料を再構成することができる。
• 参考スコア（独自算出の注目度）: 45.64333510966844
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Inverse rendering aims at recovering both geometry and materials of objects. It provides a more compatible reconstruction for conventional rendering engines, compared with the neural radiance fields (NeRFs). On the other hand, existing NeRF-based inverse rendering methods cannot handle glossy objects with local light interactions well, as they typically oversimplify the illumination as a 2D environmental map, which assumes infinite lights only. Observing the superiority of NeRFs in recovering radiance fields, we propose a novel 5D Neural Plenoptic Function (NeP) based on NeRFs and ray tracing, such that more accurate lighting-object interactions can be formulated via the rendering equation. We also design a material-aware cone sampling strategy to efficiently integrate lights inside the BRDF lobes with the help of pre-filtered radiance fields. Our method has two stages: the geometry of the target object and the pre-filtered environmental radiance fields are reconstructed in the first stage, and materials of the target object are estimated in the second stage with the proposed NeP and material-aware cone sampling strategy. Extensive experiments on the proposed real-world and synthetic datasets demonstrate that our method can reconstruct high-fidelity geometry/materials of challenging glossy objects with complex lighting interactions from nearby objects. Project webpage: https://whyy.site/paper/nep
• Abstract（参考訳）: 逆レンダリングは、オブジェクトの幾何学と材料の両方を復元することを目的としている。 従来のレンダリングエンジンに対して、NeRF(Neural Radiance Field)と比較して、より互換性のある再構築を提供する。 一方、既存のNeRFベースの逆レンダリング手法では、局所的な光相互作用を持つ光沢のある物体も扱えない。 放射界回復におけるNeRFの優位性を考察し,より正確な光・物体相互作用をレンダリング方程式により定式化できるように,NeRFとレイトレーシングに基づく新しい5次元ニューラルプレノプティクス関数(NeP)を提案する。 また, BRDFローブ内部の光を, 予めフィルターした放射界の助けを借りて効率的に統合するための材料対応コーンサンプリング戦略を設計した。 提案手法は, 対象物体の幾何と, 予めフィルタした環境放射界の形状を第1段階で再構成し, 提案したNePおよび物質対応コーンサンプリング戦略を用いて, 対象物体の材料を第2段階で推定する。 提案した実世界および合成データセットの大規模な実験により, 近辺の物体からの複雑な光相互作用を伴う難解な光沢のある物体の高忠実な形状・材料を再構成できることが実証された。 プロジェクトのWebページ: https://whyy.site/paper/nep

関連論文リスト

• RISE-SDF: a Relightable Information-Shared Signed Distance Field for Glossy Object Inverse Rendering [26.988572852463815]
  本稿では,新しいエンド・ツー・エンド・エンド・リライトブル・ニューラル・リバース・レンダリングシステムを提案する。 本アルゴリズムは,逆レンダリングとリライトにおける最先端性能を実現する。 実験により, 逆レンダリングおよびリライティングにおける最先端性能が得られた。
  論文  参考訳（メタデータ） (2024-09-30T09:42:10Z)
• Relighting Scenes with Object Insertions in Neural Radiance Fields [24.18050535794117]
  本研究では,物体のNeRFをシーンのNeRFに挿入するための新しいNeRFパイプラインを提案する。 提案手法は,広範囲な実験評価において,現実的な照明効果を実現する。
  論文  参考訳（メタデータ） (2024-06-21T00:58:58Z)
• NeRRF: 3D Reconstruction and View Synthesis for Transparent and Specular Objects with Neural Refractive-Reflective Fields [23.099784003061618]
  ニューラル放射場(NeRF)に屈折反射場を導入する NeRFは直線線を使用し、屈折や反射によって引き起こされる複雑な光路の変化に対処できない。 本稿では,効果的かつ効果的なアンチエイリアスを実現するための仮想コーンスーパーサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-22T17:59:12Z)
• Neural Relighting with Subsurface Scattering by Learning the Radiance Transfer Gradient [73.52585139592398]
  本稿では,ボリュームレンダリングによる放射移動場学習のための新しいフレームワークを提案する。 我々は、我々のコードと、地下散乱効果を持つ新しい光ステージのオブジェクトデータセットを公開します。
  論文  参考訳（メタデータ） (2023-06-15T17:56:04Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• NeAI: A Pre-convoluted Representation for Plug-and-Play Neural Ambient Illumination [28.433403714053103]
  ニューラル環境照明(NeAI)という枠組みを提案する。 NeAIは、物理的な方法で複雑な照明を扱うための照明モデルとしてNeRF(Neural Radiance Fields)を使用している。 実験は、以前の作品と比較して、ノベルビューレンダリングの優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-04-18T06:32:30Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• NEMTO: Neural Environment Matting for Novel View and Relighting Synthesis of Transparent Objects [28.62468618676557]
  我々は3次元透明物体をモデル化する最初のエンドツーエンドニューラルネットワークパイプラインであるNEMTOを提案する。 透明物体の2次元像を入力として, 高品質な新規ビューと光合成が可能となる。
  論文  参考訳（メタデータ） (2023-03-21T15:50:08Z)
• NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination [60.89737319987051]
  照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。 これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
  論文  参考訳（メタデータ） (2021-06-03T16:18:01Z)
• PhySG: Inverse Rendering with Spherical Gaussians for Physics-based Material Editing and Relighting [60.75436852495868]
  本稿では、RGB入力画像からジオメトリ、マテリアル、イルミネーションをゼロから再構築する逆レンダリングパイプラインPhySGを紹介します。 我々は合成データと実データの両方を用いて,新しい視点のレンダリングを可能にするだけでなく,物質や照明の物理ベースの外観編集を可能にすることを実証した。
  論文  参考訳（メタデータ） (2021-04-01T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。