論文の概要: GS-ID: Illumination Decomposition on Gaussian Splatting via Diffusion Prior and Parametric Light Source Optimization
- arxiv url: http://arxiv.org/abs/2408.08524v1
- Date: Fri, 16 Aug 2024 04:38:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-08-19 16:39:36.922035
- Title: GS-ID: Illumination Decomposition on Gaussian Splatting via Diffusion Prior and Parametric Light Source Optimization
- Title（参考訳）: GS-ID:拡散前およびパラメトリック光源最適化によるガウス散乱の照明分解
- Authors: Kang Du, Zhihao Liang, Zeyu Wang,
- Abstract要約: 本稿では,ガウススティングの照明分解のための新しいフレームワークであるGS-IDを提案する。
GS-IDは、幾何再構成とレンダリング性能を向上しつつ、最先端の照明分解結果を生成する。
- 参考スコア（独自算出の注目度）: 4.928698209254161
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present GS-ID, a novel framework for illumination decomposition on Gaussian Splatting, achieving photorealistic novel view synthesis and intuitive light editing. Illumination decomposition is an ill-posed problem facing three main challenges: 1) priors for geometry and material are often lacking; 2) complex illumination conditions involve multiple unknown light sources; and 3) calculating surface shading with numerous light sources is computationally expensive. To address these challenges, we first introduce intrinsic diffusion priors to estimate the attributes for physically based rendering. Then we divide the illumination into environmental and direct components for joint optimization. Last, we employ deferred rendering to reduce the computational load. Our framework uses a learnable environment map and Spherical Gaussians (SGs) to represent light sources parametrically, therefore enabling controllable and photorealistic relighting on Gaussian Splatting. Extensive experiments and applications demonstrate that GS-ID produces state-of-the-art illumination decomposition results while achieving better geometry reconstruction and rendering performance.
- Abstract（参考訳）: 本稿では,ガウス格子の照明分解のための新しいフレームワークであるGS-IDについて述べる。
照明の分解は、3つの大きな課題に直面している不適切な問題である。
1) 幾何学及び資料の先行は,しばしば欠落している。
2 複雑な照明条件は、複数の未知の光源を含む。
3) 多数の光源による表面シェーディングの計算は, 計算コストが高い。
これらの課題に対処するために、まず本質的な拡散先を導入し、物理ベースレンダリングの属性を推定する。
次に,照明を環境と直接成分に分割し,共同最適化を行う。
最後に,遅延レンダリングを用いて計算負荷を削減する。
我々のフレームワークは学習可能な環境マップと球状ガウス (SG) を用いて光源をパラメトリックに表現し、ガウススティングにおける制御可能で光リアルなリライトを可能にする。
大規模な実験と応用により、GS-IDは、より優れた幾何再構成とレンダリング性能を達成しつつ、最先端の照明分解結果を生成することが示された。
関連論文リスト
- SAIGFormer: A Spatially-Adaptive Illumination-Guided Network for Low-Light Image Enhancement [58.79901582809091]
近年, トランスフォーマーを用いた低照度化手法は, 世界照明の回復に有望な進展をもたらした。
近年, トランスフォーマーを用いた低照度化手法は, 世界照明の回復に有望な進展をもたらした。
正確な照明復元を可能にする空間適応照明誘導変圧器フレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-21T11:38:56Z) - GaSLight: Gaussian Splats for Spatially-Varying Lighting in HDR [21.37244988135805]
GaSLightは、通常の画像から空間的に変化する光を生成する方法である。
ガウススプレートを用いて3次元照明をモデル化し,空間変動照明を実現する。
我々の手法はHDR推定の最先端結果をもたらす。
論文 参考訳（メタデータ） (2025-04-15T02:08:42Z) - GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。
本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。
両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
論文 参考訳（メタデータ） (2024-11-12T01:51:05Z) - GeoSplatting: Towards Geometry Guided Gaussian Splatting for Physically-based Inverse Rendering [69.67264955234494]
GeoSplattingは、3DGSを精密な光輸送モデリングのための明確な幾何学的ガイダンスで拡張する新しいアプローチである。
最適化可能なメッシュから表面積の3DGSを微分的に構築することにより、明確に定義されたメッシュ正規と不透明なメッシュ表面を利用する。
この強化により、3DGSの効率性と高品質なレンダリング能力を保ちながら、正確な材料分解が保証される。
論文 参考訳（メタデータ） (2024-10-31T17:57:07Z) - RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。
複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。
スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
論文 参考訳（メタデータ） (2024-10-08T17:40:01Z) - GI-GS: Global Illumination Decomposition on Gaussian Splatting for Inverse Rendering [6.820642721852439]
GI-GSは3次元ガウススティング(3DGS)と遅延シェーディングを利用する新しい逆レンダリングフレームワークである。
筆者らのフレームワークでは,まずGバッファを描画し,シーンの詳細な形状と材料特性を捉える。
Gバッファと以前のレンダリング結果により、ライトウェイトパストレースにより間接照明を計算することができる。
論文 参考訳（メタデータ） (2024-10-03T15:58:18Z) - GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。
Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。
照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-31T13:48:54Z) - NieR: Normal-Based Lighting Scene Rendering [17.421326290704844]
NieR(Normal-based Lighting Scene Rendering)は、様々な材料表面における光反射のニュアンスを考慮した新しいフレームワークである。
本稿では,光の反射特性を捉えたLD(Light Decomposition)モジュールについて述べる。
また、スパースガウス表現の限界を克服するためにHNGD (Hierarchical Normal Gradient Densification) モジュールを提案する。
論文 参考訳（メタデータ） (2024-05-21T14:24:43Z) - MixLight: Borrowing the Best of both Spherical Harmonics and Gaussian Models [69.39388799906409]
既存の作業では、照明マップを生成したり、照明パラメータを回帰することによって照明を推定する。
本稿では,SHとSGの相補的特性を利用して,より完全な照明表現を実現するジョイントモデルであるMixLightを提案する。
論文 参考訳（メタデータ） (2024-04-19T10:17:10Z) - DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。
定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-15T01:58:54Z) - GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。
最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。
我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
論文 参考訳（メタデータ） (2023-12-08T16:05:15Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-26T02:35:09Z) - NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field
Indirect Illumination [48.42173911185454]
逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。
本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
論文 参考訳（メタデータ） (2023-03-29T12:05:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。