論文の概要: Progressive Radiance Distillation for Inverse Rendering with Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2408.07595v1
• Date: Wed, 14 Aug 2024 14:50:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 12:53:17.518348
• Title: Progressive Radiance Distillation for Inverse Rendering with Gaussian Splatting
• Title（参考訳）: ガウススメッティングによる逆レンダリングのためのプログレッシブ・ラジアンス蒸留法
• Authors: Keyang Ye, Qiming Hou, Kun Zhou,
• Abstract要約: 本稿では,物理系レンダリングとガウス系ラディアンス場レンダリングを組み合わせた逆レンダリング法を提案する。 本手法は,新規なビュー合成とリライティングの両方において,最先端技術よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 25.254842246219585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose progressive radiance distillation, an inverse rendering method that combines physically-based rendering with Gaussian-based radiance field rendering using a distillation progress map. Taking multi-view images as input, our method starts from a pre-trained radiance field guidance, and distills physically-based light and material parameters from the radiance field using an image-fitting process. The distillation progress map is initialized to a small value, which favors radiance field rendering. During early iterations when fitted light and material parameters are far from convergence, the radiance field fallback ensures the sanity of image loss gradients and avoids local minima that attracts under-fit states. As fitted parameters converge, the physical model gradually takes over and the distillation progress increases correspondingly. In presence of light paths unmodeled by the physical model, the distillation progress never finishes on affected pixels and the learned radiance field stays in the final rendering. With this designed tolerance for physical model limitations, we prevent unmodeled color components from leaking into light and material parameters, alleviating relighting artifacts. Meanwhile, the remaining radiance field compensates for the limitations of the physical model, guaranteeing high-quality novel views synthesis. Experimental results demonstrate that our method significantly outperforms state-of-the-art techniques quality-wise in both novel view synthesis and relighting. The idea of progressive radiance distillation is not limited to Gaussian splatting. We show that it also has positive effects for prominently specular scenes when adapted to a mesh-based inverse rendering method.
• Abstract（参考訳）: 本稿では, 逆レンダリング法であるプログレッシブ・ラディアンス蒸留法と, ガウス・ベース・ラディアンス・フィールド・レンダリングを組み合わせた蒸留プログレッシブ・プログレッシブ・プログレッシブ・プログレッシブ・プログレッシブ・マップを提案する。 マルチビュー画像を入力として,事前学習した放射場誘導から開始し,画像適合プロセスを用いて放射場から物理的に光と物質パラメータを蒸留する。 蒸留進捗マップは、放射場レンダリングが好ましい小さな値に初期化される。 光と物質パラメータが収束しない初期のイテレーションでは、放射界のフォールバックは画像損失勾配の正しさを保証し、不適合な状態を惹きつける局所的なミニマを避ける。 適合パラメータが収束すると、物理モデルが徐々に引き継がれ、蒸留の進行が増加する。 物理モデルでモデル化されていない光路の存在下では、蒸留の進行は影響した画素で終了せず、学習された放射場は最終レンダリングに留まる。 この設計された物理モデル制限に対する耐性により、未モデル化の色成分が光や物質パラメータに漏れるのを防ぎ、リライティングアーティファクトを緩和する。 一方、残りの放射場は物理モデルの限界を補償し、高品質な新規ビュー合成を保証する。 実験により,本手法は新規なビュー合成とリライティングの両方において,最先端技術よりも優れた性能を示すことが示された。 プログレッシブ・ラディアンス蒸留の考え方はガウススプラッティングに限らない。 また,メッシュベースの逆レンダリング手法に適応した場合,顕著な特異なシーンに対して肯定的な効果を示すことを示す。

関連論文リスト

• Flash Cache: Reducing Bias in Radiance Cache Based Inverse Rendering [62.92985004295714]
  本稿では,レンダリングに偏りをもたらす近似を回避し,最適化に用いた勾配を求める手法を提案する。 これらのバイアスを除去することで、逆レンダリングに基づくレーダランスキャッシュの一般化が向上し、スペクトル反射のような光輸送効果に挑戦する際の品質が向上することを示す。
  論文  参考訳（メタデータ） (2024-09-09T17:59:57Z)
• Photometric Inverse Rendering: Shading Cues Modeling and Surface Reflectance Regularization [46.146783750386994]
  本稿では,ニューラル・リバース・レンダリングの新しい手法を提案する。 画像の自己陰影を考慮した光源位置の最適化を行う。 表面反射率の分解性を高めるために,新しい正則化を導入する。
  論文  参考訳（メタデータ） (2024-08-13T11:39:14Z)
• Denoising Monte Carlo Renders with Diffusion Models [5.228564799458042]
  物理的にベースとしたレンダリングはモンテカルロノイズを含み、ピクセル当たりの光の数が減少するにつれてばらつきが増す。 このノイズは、良い現代人にはゼロ平均だが、重い尾を持つことがある。 拡散モデルが低忠実度レンダリングをうまく認知できることを実証する。
  論文  参考訳（メタデータ） (2024-03-30T23:19:40Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• Neural Microfacet Fields for Inverse Rendering [54.15870869037466]
  本研究では,シーンの画像から材料,幾何学,環境照明を復元する手法を提案する。 本手法では, 各試料を(潜在的に不透明な)表面として扱うことにより, ボリューム設定内にマイクロファセット反射率モデルを用いる。
  論文  参考訳（メタデータ） (2023-03-31T05:38:13Z)
• NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination [48.42173911185454]
  逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。 本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-29T12:05:19Z)
• A Novel Intrinsic Image Decomposition Method to Recover Albedo for Aerial Images in Photogrammetry Processing [3.556015072520384]
  フォトグラム画像による表面アルベドは、VR/AR/MRおよびデジタルツインにおける下流の応用を促進することができる。 これらのテクスチャは直接画像から導出されるので、標準フォトグラムのパイプラインはこれらの応用に最適である。 自然照明条件下での屋外空間画像に対する画像形成モデルを提案する。 次に、逆モデルを導出し、典型的なフォトグラム積を幾何学の初期近似として利用してアルベドを推定する。
  論文  参考訳（メタデータ） (2022-04-08T15:50:52Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。