論文の概要: PRTGS: Precomputed Radiance Transfer of Gaussian Splats for Real-Time High-Quality Relighting
- arxiv url: http://arxiv.org/abs/2408.03538v1
- Date: Wed, 7 Aug 2024 04:35:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-08 13:53:42.534384
- Title: PRTGS: Precomputed Radiance Transfer of Gaussian Splats for Real-Time High-Quality Relighting
- Title（参考訳）: PRTGS: リアルタイム高品質リライトのためのガウスプレートの事前放射移動
- Authors: Yijia Guo, Yuanxi Bai, Liwen Hu, Ziyi Guo, Mianzhi Liu, Yu Cai, Tiejun Huang, Lei Ma,
- Abstract要約: 低周波照明環境におけるガウス板のリアルタイム高品質照明法を提案する。
この方法は3次元ガウスプレートの放射光伝達をプリ計算することでソフトシャドウと相互反射を捕捉する。
我々は、トレーニングとレンダリングの段階に適した個別の事前計算手法と、独自のレイトレーシングと間接照明前処理技術を導入する。
- 参考スコア（独自算出の注目度）: 24.48524333222271
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We proposed Precomputed RadianceTransfer of GaussianSplats (PRTGS), a real-time high-quality relighting method for Gaussian splats in low-frequency lighting environments that captures soft shadows and interreflections by precomputing 3D Gaussian splats' radiance transfer. Existing studies have demonstrated that 3D Gaussian splatting (3DGS) outperforms neural fields' efficiency for dynamic lighting scenarios. However, the current relighting method based on 3DGS still struggles to compute high-quality shadow and indirect illumination in real time for dynamic light, leading to unrealistic rendering results. We solve this problem by precomputing the expensive transport simulations required for complex transfer functions like shadowing, the resulting transfer functions are represented as dense sets of vectors or matrices for every Gaussian splat. We introduce distinct precomputing methods tailored for training and rendering stages, along with unique ray tracing and indirect lighting precomputation techniques for 3D Gaussian splats to accelerate training speed and compute accurate indirect lighting related to environment light. Experimental analyses demonstrate that our approach achieves state-of-the-art visual quality while maintaining competitive training times and allows high-quality real-time (30+ fps) relighting for dynamic light and relatively complex scenes at 1080p resolution.
- Abstract（参考訳）: 低周波照明環境におけるガウススプラッツのリアルタイム高画質リライティング手法であるガウススプラッツ(PRTGS)のプリコンプテッド・ラディアンス・トランスファーを提案し、3次元ガウススプラッツのラディアンス・トランスファーをプリコンプリートすることで、ソフト・シャドウとインターリフレクションを捉える。
既存の研究では、3Dガウススプラッティング(3DGS)が動的照明シナリオのニューラルネットワークの効率より優れていることが示されている。
しかし、3DGSに基づく現在の照明法は、高画質の影と間接照明を動的光に対してリアルタイムに計算するのに依然として苦労しており、非現実的なレンダリング結果をもたらす。
この問題は、シャドーイングのような複雑な伝達関数に必要な高価な輸送シミュレーションを事前計算することで解決し、結果として得られる伝達関数はガウススプラット毎にベクトルや行列の密集集合として表される。
本研究では,3次元ガウシアンスプラットのトレーニング速度を向上し,環境光に関する正確な間接照明を計算するために,トレーニングおよびレンダリング段階に適した個別プリ計算手法と,ユニークな光追跡および間接照明プリ計算技術を導入する。
実験により,本手法は,競争訓練時間を維持しながら最先端の視覚的品質を実現し,高画質のリアルタイム(30fps以上)で1080p解像度のダイナミックライトと比較的複雑なシーンをリライトできることを示した。
関連論文リスト
- GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。
本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。
両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
論文 参考訳（メタデータ） (2024-11-12T01:51:05Z) - GI-GS: Global Illumination Decomposition on Gaussian Splatting for Inverse Rendering [6.820642721852439]
GI-GSは3次元ガウススティング(3DGS)と遅延シェーディングを利用する新しい逆レンダリングフレームワークである。
筆者らのフレームワークでは,まずGバッファを描画し,シーンの詳細な形状と材料特性を捉える。
Gバッファと以前のレンダリング結果により、ライトウェイトパストレースにより間接照明を計算することができる。
論文 参考訳（メタデータ） (2024-10-03T15:58:18Z) - Subsurface Scattering for 3D Gaussian Splatting [10.990813043493642]
散乱材料を用いた物体の3次元再構成とリライティングは、表面下の複雑な光輸送のために大きな課題となる。
本稿では,マルチビューOLAT(1光1つ)データを用いてオブジェクトの形状を最適にするためのフレームワークを提案する。
本手法は,インタラクティブな速度で素材編集,リライティング,新しいビュー合成を可能にする。
論文 参考訳（メタデータ） (2024-08-22T10:34:01Z) - PRTGaussian: Efficient Relighting Using 3D Gaussians with Precomputed Radiance Transfer [13.869132334647771]
PRTGaussianはリアルタイムに再生可能な新規ビュー合成法である。
マルチビューOLATデータにガウスアンを組み込むことで,リアルタイムで自由視点のリライトを可能にする。
論文 参考訳（メタデータ） (2024-08-10T20:57:38Z) - 3iGS: Factorised Tensorial Illumination for 3D Gaussian Splatting [15.059156311856087]
3D Gaussian Splatting(3iGS)は、3D Gaussian Splatting(3DGS)レンダリング品質を改善する。
3Dガウスアンを放射場表現として用いることで、リアルタイムレンダリング速度で高品質なノベルビュー合成が可能になった。
論文 参考訳（メタデータ） (2024-08-07T13:06:29Z) - DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。
定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-15T01:58:54Z) - GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。
最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。
我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
論文 参考訳（メタデータ） (2023-12-08T16:05:15Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-26T02:35:09Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳（メタデータ） (2023-05-07T20:36:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。