論文の概要: Differentiable Light Transport with Gaussian Surfels via Adapted Radiosity for Efficient Relighting and Geometry Reconstruction
- arxiv url: http://arxiv.org/abs/2509.18497v2
- Date: Mon, 29 Sep 2025 04:51:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 14:13:47.583881
- Title: Differentiable Light Transport with Gaussian Surfels via Adapted Radiosity for Efficient Relighting and Geometry Reconstruction
- Title(参考訳): 効率的な照準と幾何再構成のための適応ラジオシティによるガウスサーファーの光輸送
- Authors: Kaiwen Jiang, Jia-Mu Sun, Zilu Li, Dan Wang, Tzu-Mao Li, Ravi Ramamoorthi,
- Abstract要約: 放射場は、新しいビュー合成から幾何学的再構成まで幅広い応用で大きな成功を収めている。
これらの制限に対処する方法の1つは、物理ベースのレンダリングを組み込むことである。
最適化の内ループに完全なグローバル照明を組み込むことは、違法に高価である。
- 参考スコア(独自算出の注目度): 32.713220877091565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Radiance fields have gained tremendous success with applications ranging from novel view synthesis to geometry reconstruction, especially with the advent of Gaussian splatting. However, they sacrifice modeling of material reflective properties and lighting conditions, leading to significant geometric ambiguities and the inability to easily perform relighting. One way to address these limitations is to incorporate physically-based rendering, but it has been prohibitively expensive to include full global illumination within the inner loop of the optimization. Therefore, previous works adopt simplifications that make the whole optimization with global illumination effects efficient but less accurate. In this work, we adopt Gaussian surfels as the primitives and build an efficient framework for differentiable light transport, inspired from the classic radiosity theory. The whole framework operates in the coefficient space of spherical harmonics, enabling both diffuse and specular materials. We extend the classic radiosity into non-binary visibility and semi-opaque primitives, propose novel solvers to efficiently solve the light transport, and derive the backward pass for gradient optimizations, which is more efficient than auto-differentiation. During inference, we achieve view-independent rendering where light transport need not be recomputed under viewpoint changes, enabling hundreds of FPS for global illumination effects, including view-dependent reflections using a spherical harmonics representation. Through extensive qualitative and quantitative experiments, we demonstrate superior geometry reconstruction, view synthesis and relighting than previous inverse rendering baselines, or data-driven baselines given relatively sparse datasets with known or unknown lighting conditions.
- Abstract(参考訳): 放射場は、新しいビュー合成から幾何学的再構成まで、特にガウススプラッティングの出現によって、大きな成功を収めた。
しかし、それらは材料反射特性と照明条件のモデリングを犠牲にして、幾何学的な曖昧さと容易にリライティングを行うことができないことにつながった。
これらの制限に対処する方法の1つは物理ベースのレンダリングを組み込むことであるが、最適化の内側のループに完全なグローバル照明を組み込むことは違法に高価である。
したがって、従来の研究は、全最適化を効率良く、精度が低いものにする単純化を採用していた。
本研究では、ガウス波を原始体として採用し、古典的なラジオシティ理論から着想を得た、微分可能な光輸送のための効率的な枠組みを構築する。
フレームワーク全体が球面調和の係数空間で動作し、拡散材料と特異材料の両方を可能にする。
古典的ラジオシティを非バイナリ可視性と半透明プリミティブに拡張し、光輸送を効率的に解くための新しい解法を提案し、自動微分よりも効率的な勾配最適化のための後方通過を導出する。
推定中、光輸送を視点変化下で再計算する必要のないビュー非依存レンダリングを実現し、球面調和表現を用いたビュー依存反射を含む、大域的な照明効果に対して数百のFPSを実現する。
定性的かつ定量的な実験を通じて、従来の逆レンダリングベースラインよりも優れた幾何再構成、ビュー合成、リライティング、あるいは、未知の照明条件を持つ比較的スパースなデータセットが与えられたデータ駆動ベースラインを実証する。
関連論文リスト
- Neural Relighting with Subsurface Scattering by Learning the Radiance
Transfer Gradient [73.52585139592398]
本稿では,ボリュームレンダリングによる放射移動場学習のための新しいフレームワークを提案する。
我々は、我々のコードと、地下散乱効果を持つ新しい光ステージのオブジェクトデータセットを公開します。
論文 参考訳(メタデータ) (2023-06-15T17:56:04Z) - NeuS-PIR: Learning Relightable Neural Surface using Pre-Integrated Rendering [23.482941494283978]
本稿では,マルチビュー画像やビデオから可照性神経表面を復元するNeuS-PIR法を提案する。
NeRFや離散メッシュに基づく手法とは異なり,提案手法は暗黙のニューラルサーフェス表現を用いて高品質な幾何学を再構築する。
本手法は,現代のグラフィックスエンジンとシームレスに統合可能なリライトなどの高度なアプリケーションを実現する。
論文 参考訳(メタデータ) (2023-06-13T09:02:57Z) - NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field
Indirect Illumination [48.42173911185454]
逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。
本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
論文 参考訳(メタデータ) (2023-03-29T12:05:19Z) - Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。
副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
論文 参考訳(メタデータ) (2022-12-09T07:33:49Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳(メタデータ) (2021-10-30T01:59:39Z) - PhySG: Inverse Rendering with Spherical Gaussians for Physics-based
Material Editing and Relighting [60.75436852495868]
本稿では、RGB入力画像からジオメトリ、マテリアル、イルミネーションをゼロから再構築する逆レンダリングパイプラインPhySGを紹介します。
我々は合成データと実データの両方を用いて,新しい視点のレンダリングを可能にするだけでなく,物質や照明の物理ベースの外観編集を可能にすることを実証した。
論文 参考訳(メタデータ) (2021-04-01T17:59:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。