論文の概要: DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading
- arxiv url: http://arxiv.org/abs/2404.09412v1
- Date: Mon, 15 Apr 2024 01:58:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 13:58:36.053273
- Title: DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading
- Title(参考訳): DeferredGS: Deferred Shadingによる分離および編集可能なガウス分割
- Authors: Tong Wu, Jia-Mu Sun, Yu-Kun Lai, Yuewen Ma, Leif Kobbelt, Lin Gao,
- Abstract要約: 我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。
定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
- 参考スコア(独自算出の注目度): 50.331929164207324
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing and editing 3D objects and scenes both play crucial roles in computer graphics and computer vision. Neural radiance fields (NeRFs) can achieve realistic reconstruction and editing results but suffer from inefficiency in rendering. Gaussian splatting significantly accelerates rendering by rasterizing Gaussian ellipsoids. However, Gaussian splatting utilizes a single Spherical Harmonic (SH) function to model both texture and lighting, limiting independent editing capabilities of these components. Recently, attempts have been made to decouple texture and lighting with the Gaussian splatting representation but may fail to produce plausible geometry and decomposition results on reflective scenes. Additionally, the forward shading technique they employ introduces noticeable blending artifacts during relighting, as the geometry attributes of Gaussians are optimized under the original illumination and may not be suitable for novel lighting conditions. To address these issues, we introduce DeferredGS, a method for decoupling and editing the Gaussian splatting representation using deferred shading. To achieve successful decoupling, we model the illumination with a learnable environment map and define additional attributes such as texture parameters and normal direction on Gaussians, where the normal is distilled from a jointly trained signed distance function. More importantly, we apply deferred shading, resulting in more realistic relighting effects compared to previous methods. Both qualitative and quantitative experiments demonstrate the superior performance of DeferredGS in novel view synthesis and editing tasks.
- Abstract(参考訳): 3Dオブジェクトとシーンの再構成と編集はどちらもコンピュータグラフィックスとコンピュータビジョンにおいて重要な役割を担っている。
ニューラルレイディアンスフィールド(NeRF)はリアルな再構成と編集結果を達成するが、レンダリングの非効率さに悩まされる。
ガウススプラッティングはガウス楕円体をラスタ化することによってレンダリングを著しく加速する。
しかし、ガウススプラッティングは、テクスチャと照明の両方をモデル化し、これらのコンポーネントの独立した編集能力を制限するために、単一の球高調波関数(SH)を利用する。
近年、テクスチャと照明をガウスのスプレイティング表現で分離する試みが試みられているが、反射的な場面で可塑性幾何や分解の結果が得られない可能性がある。
さらに、フォワードシェーディング技術は、ガウスの幾何学的属性が元の照明条件の下で最適化されており、新しい照明条件には適さないため、照明中に顕著なブレンディングアーティファクトを導入している。
これらの問題に対処するために,遅延シェーディングを用いたガウススプラッティング表現のデカップリングと編集を行うDedeerredGSを導入する。
疎結合を成功させるために,学習可能な環境マップを用いて照明をモデル化し,Gussian上でのテクスチャパラメータや正規方向などの付加属性を定義した。
より重要なことは、遅延シェーディングを適用し、従来の方法よりも現実的なリライト効果をもたらすことである。
定性的かつ定量的な実験は、新しいビュー合成および編集タスクにおけるDederredGSの優れた性能を示す。
関連論文リスト
- High-Fidelity SLAM Using Gaussian Splatting with Rendering-Guided Densification and Regularized Optimization [8.845446246585215]
本稿では,3次元ガウススプラッティングに基づく高密度RGBD SLAMシステムを提案する。
近年のニューラルかつ並列に開発されたガウススプラッティング RGBD SLAM ベースラインと比較して,本手法は合成データセット Replica の最先端結果と実世界のデータセット TUM の競合結果を得る。
論文 参考訳(メタデータ) (2024-03-19T08:19:53Z) - Texture-GS: Disentangling the Geometry and Texture for 3D Gaussian Splatting Editing [79.10630153776759]
3Dガウススプラッティングは画期的なアプローチとして登場し、高忠実度再構成とリアルタイムレンダリングの能力に注目が集まっている。
そこで我々は,テクスチャ-GSという新しいアプローチを提案し,その外観を3次元表面上にマッピングされた2次元テクスチャとして表現することで幾何学から切り離す。
提案手法は,高精細な外観の編集を容易にするだけでなく,コンシューマレベルのデバイス上でのリアルタイムレンダリングも実現している。
論文 参考訳(メタデータ) (2024-03-15T06:42:55Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - GaussianShader: 3D Gaussian Splatting with Shading Functions for
Reflective Surfaces [45.15827491185572]
反射面を持つシーンにおけるニューラルレンダリングを強化するために, 簡易シェーディング機能を3次元ガウスに応用する新しい手法を提案する。
実験の結果、ガウシアンシェーダーは効率と視覚的品質のバランスを保っていることがわかった。
論文 参考訳(メタデータ) (2023-11-29T17:22:26Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳(メタデータ) (2023-11-26T02:35:09Z) - NeuS-PIR: Learning Relightable Neural Surface using Pre-Integrated Rendering [23.482941494283978]
本稿では,マルチビュー画像やビデオから可照性神経表面を復元するNeuS-PIR法を提案する。
NeRFや離散メッシュに基づく手法とは異なり,提案手法は暗黙のニューラルサーフェス表現を用いて高品質な幾何学を再構築する。
本手法は,現代のグラフィックスエンジンとシームレスに統合可能なリライトなどの高度なアプリケーションを実現する。
論文 参考訳(メタデータ) (2023-06-13T09:02:57Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳(メタデータ) (2021-10-30T01:59:39Z) - PhySG: Inverse Rendering with Spherical Gaussians for Physics-based
Material Editing and Relighting [60.75436852495868]
本稿では、RGB入力画像からジオメトリ、マテリアル、イルミネーションをゼロから再構築する逆レンダリングパイプラインPhySGを紹介します。
我々は合成データと実データの両方を用いて,新しい視点のレンダリングを可能にするだけでなく,物質や照明の物理ベースの外観編集を可能にすることを実証した。
論文 参考訳(メタデータ) (2021-04-01T17:59:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。