論文の概要: Spectral-GS: Taming 3D Gaussian Splatting with Spectral Entropy

• arxiv url: http://arxiv.org/abs/2409.12771v2
• Date: Tue, 15 Oct 2024 07:35:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 13:34:43.217446
• Title: Spectral-GS: Taming 3D Gaussian Splatting with Spectral Entropy
• Title（参考訳）: Spectral-GS: スペクトルエントロピーを用いた3次元ガウス平滑化
• Authors: Letian Huang, Jie Guo, Jialin Dan, Ruoyu Fu, Shujie Wang, Yuanqi Li, Yanwen Guo,
• Abstract要約: 3D-GSは形状の認識を欠き、代わりにスペクトル半径と視角勾配に依存して分割を決定する。 スペクトル分析に基づくスペクトルGSでは,3次元形状認識分割と2次元ビュー一貫性フィルタリング方式が導入された。
• 参考スコア（独自算出の注目度）: 14.320240635262756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, 3D Gaussian Splatting (3D-GS) has achieved impressive results in novel view synthesis, demonstrating high fidelity and efficiency. However, it easily exhibits needle-like artifacts, especially when increasing the sampling rate. Mip-Splatting tries to remove these artifacts with a 3D smoothing filter for frequency constraints and a 2D Mip filter for approximated supersampling. Unfortunately, it tends to produce over-blurred results, and sometimes needle-like Gaussians still persist. Our spectral analysis of the covariance matrix during optimization and densification reveals that current 3D-GS lacks shape awareness, relying instead on spectral radius and view positional gradients to determine splitting. As a result, needle-like Gaussians with small positional gradients and low spectral entropy fail to split and overfit high-frequency details. Furthermore, both the filters used in 3D-GS and Mip-Splatting reduce the spectral entropy and increase the condition number during zooming in to synthesize novel view, causing view inconsistencies and more pronounced artifacts. Our Spectral-GS, based on spectral analysis, introduces 3D shape-aware splitting and 2D view-consistent filtering strategies, effectively addressing these issues, enhancing 3D-GS's capability to represent high-frequency details without noticeable artifacts, and achieving high-quality photorealistic rendering.
• Abstract（参考訳）: 近年,3次元ガウススプラッティング(3D-GS)は,高い忠実度と効率性を示す新規なビュー合成において,印象的な成果を上げている。 しかし、特にサンプリング率を上げると針状のアーティファクトが容易に現れる。 Mip-Splattingはこれらのアーティファクトを、周波数制約のための3次元平滑化フィルタと近似スーパーサンプリングのための2次元Mipフィルタで除去しようとする。 残念なことに、過度に青みがかった結果をもたらす傾向があり、針のようなガウシアンもまだ残っていることがある。 最適化と密度化における共分散行列のスペクトル分析により,現在の3D-GSでは形状認識が欠如していることが判明した。 結果として、小さな位置勾配と低いスペクトルエントロピーを持つ針状ガウスが分割できず、高周波の詳細をオーバーフィットする。 さらに、3D-GS と Mip-Splatting で使用されるフィルタはどちらもスペクトルエントロピーを低減し、ズームイン中に条件数を増やして新しいビューを合成し、ビューの不整合とより顕著なアーティファクトを引き起こす。 スペクトル分析に基づくスペクトルGSでは、3次元形状認識分割と2次元ビュー一貫性フィルタリング戦略を導入し、これらの問題を効果的に解決し、3D-GSの高頻度細部表現能力を向上させるとともに、高画質な光写実性レンダリングを実現している。

関連論文リスト

• Beyond Gaussians: Fast and High-Fidelity 3D Splatting with Linear Kernels [51.08794269211701]
  本稿では,ガウスカーネルを線形カーネルに置き換えて,よりシャープで高精度な結果を得る3Dリニアスティング(DLS)を提案する。 3DLSは、最先端の忠実さと正確さを示し、ベースライン3DGSよりも30%のFPS改善を実現している。
  論文  参考訳（メタデータ） (2024-11-19T11:59:54Z)
• Optimizing 3D Gaussian Splatting for Sparse Viewpoint Scene Reconstruction [11.840097269724792]
  3D Gaussian Splatting (3DGS)は3Dシーン表現の有望なアプローチとして登場し、Neural Radiance Fields (NeRF)と比較して計算オーバーヘッドの低減を実現している。 SVS-GSは,3次元ガウス平滑化フィルタを統合して人工物を抑制する,スパースビューポイントシーン再構築のための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-09-05T03:18:04Z)
• SpecGaussian with Latent Features: A High-quality Modeling of the View-dependent Appearance for 3D Gaussian Splatting [11.978842116007563]
  Lantent-SpecGSは、各3Dガウス内の普遍的な潜在神経記述子を利用するアプローチである。 2つの並列CNNは、分割された特徴マップを拡散色と特異色に分離してデコーダとして設計されている。 視点に依存するマスクが学習され、これらの2色をマージし、最終的なレンダリング画像が生成される。
  論文  参考訳（メタデータ） (2024-08-23T15:25:08Z)
• 3iGS: Factorised Tensorial Illumination for 3D Gaussian Splatting [15.059156311856087]
  3D Gaussian Splatting(3iGS)は、3D Gaussian Splatting(3DGS)レンダリング品質を改善する。 3Dガウスアンを放射場表現として用いることで、リアルタイムレンダリング速度で高品質なノベルビュー合成が可能になった。
  論文  参考訳（メタデータ） (2024-08-07T13:06:29Z)
• LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
  本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。 実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T05:58:34Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• FreGS: 3D Gaussian Splatting with Progressive Frequency Regularization [67.47895278233717]
  周波数空間における過度再構成問題に対処するために, 進行周波数正規化手法を開発した。 FreGSは優れた斬新なビュー合成を実現し、最先端の技術を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-03-11T17:00:27Z)
• Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
  Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。 実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。 この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
  論文  参考訳（メタデータ） (2024-02-24T17:22:15Z)
• Mip-Splatting: Alias-free 3D Gaussian Splatting [52.366815964832426]
  3D Gaussian Splattingは素晴らしいビュー合成結果を示し、高い忠実度と効率を実現した。 ストロングアーティファクトは、サンプリングレート、例えば焦点距離やカメラ距離を変えることで観測することができる。 この現象の原因は,3次元周波数制約の欠如と2次元拡張フィルタの利用によると考えられる。
  論文  参考訳（メタデータ） (2023-11-27T13:03:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。