論文の概要: GS-ROR: 3D Gaussian Splatting for Reflective Object Relighting via SDF Priors

• arxiv url: http://arxiv.org/abs/2406.18544v2
• Date: Thu, 12 Sep 2024 13:28:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 21:31:38.072137
• Title: GS-ROR: 3D Gaussian Splatting for Reflective Object Relighting via SDF Priors
• Title（参考訳）: GS-ROR:SDFプリミティブによる反射物体の照準のための3次元ガウス散乱
• Authors: Zuo-Liang Zhu, Beibei Wang, Jian Yang,
• Abstract要約: SDF前駆体を用いた3DGSでリライトする反射物体に対してGS-RORを提案する。 提案手法は,既存のガウス方式の逆レンダリング手法よりも,照明品質に優れる。
• 参考スコア（独自算出の注目度）: 20.523085632567717
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: 3D Gaussian Splatting (3DGS) has shown a powerful capability for novel view synthesis due to its detailed expressive ability and highly efficient rendering speed. Unfortunately, creating relightable 3D assets with 3DGS is still problematic, particularly for reflective objects, as its discontinuous representation raises difficulties in constraining geometries. Inspired by previous works, the signed distance field (SDF) can serve as an effective way for geometry regularization. However, a direct incorporation between Gaussians and SDF significantly slows training. To this end, we propose GS-ROR for reflective objects relighting with 3DGS aided by SDF priors. At the core of our method is the mutual supervision of the depth and normal between deferred Gaussians and SDF, which avoids the expensive volume rendering of SDF. Thanks to this mutual supervision, the learned deferred Gaussians are well-constrained with a minimal time cost. As the Gaussians are rendered in a deferred shading mode, while the alpha-blended Gaussians are smooth, individual Gaussians may still be outliers, yielding floater artifacts. Therefore, we further introduce an SDF-aware pruning strategy to remove Gaussian outliers, which are located distant from the surface defined by SDF, avoiding the floater issue. Consequently, our method outperforms the existing Gaussian-based inverse rendering methods in terms of relighting quality. Our method also exhibits competitive relighting quality compared to NeRF-based methods with at most 25% of training time and allows rendering at 200+ frames per second on an RTX4090.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は、その詳細な表現能力と高効率なレンダリング速度により、新しいビュー合成の強力な能力を示している。 残念なことに、3DGSでリライタブルな3Dアセットを作成することは、特に反射オブジェクトにとって問題であり、不連続な表現はジオメトリの制約の困難を生じさせる。 以前の研究に触発されて、符号付き距離場(SDF)は幾何正則化の有効な方法として機能する。 しかし、ガウスとSDFの直接統合は訓練を著しく遅らせる。 そこで本研究では,SDF前駆体を用いた3DGSでリライトする反射物体に対してGS-RORを提案する。 提案手法の核心は, 遅延ガウスとSDFの深度と正常度を相互に監視することであり, SDFの高価なボリュームレンダリングを回避している。 この相互監督のおかげで、学習された遅延したガウス人は最小の時間費用で十分に拘束されている。 ガウス語は遅延シェーディングモードで描画されるが、アルファ版ではガウス語は滑らかであり、個々のガウス語は依然としてアウトリーであり、フローター・アーティファクトが得られる。 そこで本研究では,SDFが定義する表面から離れたガウシアンアウトリールを除去し,フロータ問題を回避するため,SDF対応プルーニング戦略を導入する。 その結果,既存のガウス方式の逆レンダリング手法よりも,照明品質が優れていた。 また, RTX4090では, トレーニング時間の25%以上で, RTX4090では毎秒200フレーム以上のレンダリングが可能となる。

関連論文リスト

• G2SDF: Surface Reconstruction from Explicit Gaussians with Implicit SDFs [84.07233691641193]
  G2SDFはニューラル暗黙の符号付き距離場をガウススプラッティングフレームワークに統合する新しいアプローチである。 G2SDFは, 3DGSの効率を維持しつつ, 従来よりも優れた品質を実現する。
  論文  参考訳（メタデータ） (2024-11-25T20:07:07Z)
• Neural Signed Distance Function Inference through Splatting 3D Gaussians Pulled on Zero-Level Set [49.780302894956776]
  多視点表面再構成における符号付き距離関数(SDF)の推測は不可欠である。 本稿では3DGSとニューラルSDFの学習をシームレスに融合する手法を提案する。 我々の数値的および視覚的比較は、広く使用されているベンチマークの最先端結果よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-10-18T05:48:06Z)
• GS-Octree: Octree-based 3D Gaussian Splatting for Robust Object-level 3D Reconstruction Under Strong Lighting [4.255847344539736]
  我々はオクツリーに基づく暗黙的な表面表現とガウススプラッティングを組み合わせた新しいアプローチを導入する。 SDFによる3次元ガウス分布を利用した本手法は,特に高輝度光による特徴強調画像において,より正確な形状を再構成する。
  論文  参考訳（メタデータ） (2024-06-26T09:29:56Z)
• Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
  Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。 GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。 GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
  論文  参考訳（メタデータ） (2024-04-16T17:57:19Z)
• 3DGSR: Implicit Surface Reconstruction with 3D Gaussian Splatting [58.95801720309658]
  本稿では,3次元ガウス散乱(3DGS),すなわち3DGSRを用いた暗黙的表面再構成法を提案する。 重要な洞察は、暗黙の符号付き距離場(SDF)を3Dガウスに組み込んで、それらが整列され、共同最適化されるようにすることである。 実験により, 3DGSの効率とレンダリング品質を保ちながら, 高品質な3D表面再構成が可能な3DGSR法が実証された。
  論文  参考訳（メタデータ） (2024-03-30T16:35:38Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• GaussianShader: 3D Gaussian Splatting with Shading Functions for Reflective Surfaces [45.15827491185572]
  反射面を持つシーンにおけるニューラルレンダリングを強化するために, 簡易シェーディング機能を3次元ガウスに応用する新しい手法を提案する。 実験の結果、ガウシアンシェーダーは効率と視覚的品質のバランスを保っていることがわかった。
  論文  参考訳（メタデータ） (2023-11-29T17:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。