論文の概要: DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading

• arxiv url: http://arxiv.org/abs/2404.09412v1
• Date: Mon, 15 Apr 2024 01:58:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 13:58:36.053273
• Title: DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading
• Title（参考訳）: DeferredGS: Deferred Shadingによる分離および編集可能なガウス分割
• Authors: Tong Wu, Jia-Mu Sun, Yu-Kun Lai, Yuewen Ma, Leif Kobbelt, Lin Gao,
• Abstract要約: 我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。 定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
• 参考スコア（独自算出の注目度）: 50.331929164207324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing and editing 3D objects and scenes both play crucial roles in computer graphics and computer vision. Neural radiance fields (NeRFs) can achieve realistic reconstruction and editing results but suffer from inefficiency in rendering. Gaussian splatting significantly accelerates rendering by rasterizing Gaussian ellipsoids. However, Gaussian splatting utilizes a single Spherical Harmonic (SH) function to model both texture and lighting, limiting independent editing capabilities of these components. Recently, attempts have been made to decouple texture and lighting with the Gaussian splatting representation but may fail to produce plausible geometry and decomposition results on reflective scenes. Additionally, the forward shading technique they employ introduces noticeable blending artifacts during relighting, as the geometry attributes of Gaussians are optimized under the original illumination and may not be suitable for novel lighting conditions. To address these issues, we introduce DeferredGS, a method for decoupling and editing the Gaussian splatting representation using deferred shading. To achieve successful decoupling, we model the illumination with a learnable environment map and define additional attributes such as texture parameters and normal direction on Gaussians, where the normal is distilled from a jointly trained signed distance function. More importantly, we apply deferred shading, resulting in more realistic relighting effects compared to previous methods. Both qualitative and quantitative experiments demonstrate the superior performance of DeferredGS in novel view synthesis and editing tasks.
• Abstract（参考訳）: 3Dオブジェクトとシーンの再構成と編集はどちらもコンピュータグラフィックスとコンピュータビジョンにおいて重要な役割を担っている。 ニューラルレイディアンスフィールド(NeRF)はリアルな再構成と編集結果を達成するが、レンダリングの非効率さに悩まされる。 ガウススプラッティングはガウス楕円体をラスタ化することによってレンダリングを著しく加速する。 しかし、ガウススプラッティングは、テクスチャと照明の両方をモデル化し、これらのコンポーネントの独立した編集能力を制限するために、単一の球高調波関数(SH)を利用する。 近年、テクスチャと照明をガウスのスプレイティング表現で分離する試みが試みられているが、反射的な場面で可塑性幾何や分解の結果が得られない可能性がある。 さらに、フォワードシェーディング技術は、ガウスの幾何学的属性が元の照明条件の下で最適化されており、新しい照明条件には適さないため、照明中に顕著なブレンディングアーティファクトを導入している。 これらの問題に対処するために,遅延シェーディングを用いたガウススプラッティング表現のデカップリングと編集を行うDedeerredGSを導入する。 疎結合を成功させるために,学習可能な環境マップを用いて照明をモデル化し,Gussian上でのテクスチャパラメータや正規方向などの付加属性を定義した。 より重要なことは、遅延シェーディングを適用し、従来の方法よりも現実的なリライト効果をもたらすことである。 定性的かつ定量的な実験は、新しいビュー合成および編集タスクにおけるDederredGSの優れた性能を示す。

関連論文リスト

• GI-GS: Global Illumination Decomposition on Gaussian Splatting for Inverse Rendering [6.820642721852439]
  GI-GSは3次元ガウススティング(3DGS)と遅延シェーディングを利用する新しい逆レンダリングフレームワークである。 筆者らのフレームワークでは,まずGバッファを描画し,シーンの詳細な形状と材料特性を捉える。 Gバッファと以前のレンダリング結果により、ライトウェイトパストレースにより間接照明を計算することができる。
  論文  参考訳（メタデータ） (2024-10-03T15:58:18Z)
• GS-ID: Illumination Decomposition on Gaussian Splatting via Diffusion Prior and Parametric Light Source Optimization [4.928698209254161]
  本稿では,ガウススティングの照明分解のための新しいフレームワークであるGS-IDを提案する。 GS-IDは、幾何再構成とレンダリング性能を向上しつつ、最先端の照明分解結果を生成する。
  論文  参考訳（メタデータ） (2024-08-16T04:38:31Z)
• RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis [3.4341938551046227]
  微分レンダリング法は、新しいビュー合成に大きな進歩をもたらした。 不規則分布ガウスの異なる光線鋳造のための放射放射率cと密度シグマを一貫した定式化を行う。 適切なトレーニング時間を維持しつつ、Blenderデータセット上で25FPSの推論速度を達成しながら、最先端のレンダリングよりも優れた品質を実現する。
  論文  参考訳（メタデータ） (2024-08-06T10:59:58Z)
• GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
  本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。 最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。 我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
  論文  参考訳（メタデータ） (2023-12-08T16:05:15Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing [21.498078188364566]
  フォトリアリスティックなリライトを実現するために,新しい微分可能な点ベースレンダリングフレームワークを提案する。 提案したフレームワークは、メッシュベースのグラフィクスパイプラインを、編集、トレース、リライトを可能にするポイントベースのパイプラインで革新する可能性を示している。
  論文  参考訳（メタデータ） (2023-11-27T18:07:58Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• PhySG: Inverse Rendering with Spherical Gaussians for Physics-based Material Editing and Relighting [60.75436852495868]
  本稿では、RGB入力画像からジオメトリ、マテリアル、イルミネーションをゼロから再構築する逆レンダリングパイプラインPhySGを紹介します。 我々は合成データと実データの両方を用いて,新しい視点のレンダリングを可能にするだけでなく,物質や照明の物理ベースの外観編集を可能にすることを実証した。
  論文  参考訳（メタデータ） (2021-04-01T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。