論文の概要: NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination

• arxiv url: http://arxiv.org/abs/2303.16617v2
• Date: Thu, 14 Sep 2023 09:02:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 19:22:37.564419
• Title: NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination
• Title（参考訳）: nefii:近距離場インダイレクト照明による反射分解の逆レンダリング
• Authors: Haoqian Wu, Zhipeng Hu, Lincheng Li, Yongqiang Zhang, Changjie Fan, Xin Yu
• Abstract要約: 逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。 本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 48.42173911185454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inverse rendering methods aim to estimate geometry, materials and illumination from multi-view RGB images. In order to achieve better decomposition, recent approaches attempt to model indirect illuminations reflected from different materials via Spherical Gaussians (SG), which, however, tends to blur the high-frequency reflection details. In this paper, we propose an end-to-end inverse rendering pipeline that decomposes materials and illumination from multi-view images, while considering near-field indirect illumination. In a nutshell, we introduce the Monte Carlo sampling based path tracing and cache the indirect illumination as neural radiance, enabling a physics-faithful and easy-to-optimize inverse rendering method. To enhance efficiency and practicality, we leverage SG to represent the smooth environment illuminations and apply importance sampling techniques. To supervise indirect illuminations from unobserved directions, we develop a novel radiance consistency constraint between implicit neural radiance and path tracing results of unobserved rays along with the joint optimization of materials and illuminations, thus significantly improving the decomposition performance. Extensive experiments demonstrate that our method outperforms the state-of-the-art on multiple synthetic and real datasets, especially in terms of inter-reflection decomposition.Our code and data are available at https://woolseyyy.github.io/nefii/.
• Abstract（参考訳）: 逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。 より優れた分解を達成するために、近年のアプローチでは、球状ガウス(SG)を介して異なる材料から反射される間接的な照度をモデル化しようとしている。 本稿では,多視点画像から材料や照明を分解し,近接場間接照明を考慮しながら,エンドツーエンドの逆レンダリングパイプラインを提案する。 一言で言えば、モンテカルロサンプリングに基づく経路追跡を導入し、間接照明を神経放射としてキャッシュし、物理学的不完全で最適化が容易な逆レンダリング法を可能にする。 効率と実用性を高めるため,sgを用いて円滑な環境照度を表現し,重要サンプリング技術を適用する。 本研究では,非可観測方向からの間接的照度を監督するため,暗黙のニューラル放射率と非可観測光の経路追尾結果と,材料と照明の連成最適化を両立させ,分解性能を著しく向上させる手法を開発した。 広範な実験により、この手法が複数の合成データと実際のデータセット、特に反射分解の点で最先端を上回っていることが示され、コードとデータはhttps://woolseyyy.github.io/nefii/で入手できる。

関連論文リスト

• Photometric Inverse Rendering: Shading Cues Modeling and Surface Reflectance Regularization [46.146783750386994]
  本稿では,ニューラル・リバース・レンダリングの新しい手法を提案する。 画像の自己陰影を考慮した光源位置の最適化を行う。 表面反射率の分解性を高めるために,新しい正則化を導入する。
  論文  参考訳（メタデータ） (2024-08-13T11:39:14Z)
• MIRReS: Multi-bounce Inverse Rendering using Reservoir Sampling [17.435649250309904]
  本稿では,新しい2段階逆レンダリングフレームワークであるMIRReSを紹介する。 提案手法は, ステージ1で明示的な幾何(三角形メッシュ)を抽出し, より現実的な物理ベースの逆レンダリングモデルを導入する。 本手法は,自己陰影や内部反射を含む間接照明を効果的に推定する。
  論文  参考訳（メタデータ） (2024-06-24T07:00:57Z)
• Diffusion Posterior Illumination for Ambiguity-aware Inverse Rendering [63.24476194987721]
  画像からシーン特性を推定する逆レンダリングは、困難な逆問題である。 既存のソリューションの多くは、プリエントを逆レンダリングパイプラインに組み込んで、プラウシブルなソリューションを奨励している。 本稿では,自然照明マップ上で事前学習した確率拡散モデルを最適化フレームワークに統合する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T12:39:28Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
  本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。 副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
  論文  参考訳（メタデータ） (2022-12-09T07:33:49Z)
• Modeling Indirect Illumination for Inverse Rendering [31.734819333921642]
  本稿では,空間的に変化する間接照明を効率よく回収するための新しい手法を提案する。 重要な洞察は、間接照明は入力画像から学習した神経放射場から便利に導出できるということである。 合成データと実データの両方の実験は、従来の研究と比較して、我々のアプローチの優れた性能を示している。
  論文  参考訳（メタデータ） (2022-04-14T09:10:55Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• PhySG: Inverse Rendering with Spherical Gaussians for Physics-based Material Editing and Relighting [60.75436852495868]
  本稿では、RGB入力画像からジオメトリ、マテリアル、イルミネーションをゼロから再構築する逆レンダリングパイプラインPhySGを紹介します。 我々は合成データと実データの両方を用いて,新しい視点のレンダリングを可能にするだけでなく,物質や照明の物理ベースの外観編集を可能にすることを実証した。
  論文  参考訳（メタデータ） (2021-04-01T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。