論文の概要: PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2406.10219v2
• Date: Wed, 04 Dec 2024 19:00:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:36:50.697627
• Title: PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting
• Title（参考訳）: PUP 3D-GS: 3次元ガウス平滑化のための原理的不確かさ解析
• Authors: Alex Hanson, Allen Tu, Vasu Singla, Mayuka Jayawardhana, Matthias Zwicker, Tom Goldstein,
• Abstract要約: 本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。 また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 59.277480452459315
• License:
• Abstract: Recent advances in novel view synthesis have enabled real-time rendering speeds with high reconstruction accuracy. 3D Gaussian Splatting (3D-GS), a foundational point-based parametric 3D scene representation, models scenes as large sets of 3D Gaussians. However, complex scenes can consist of millions of Gaussians, resulting in high storage and memory requirements that limit the viability of 3D-GS on devices with limited resources. Current techniques for compressing these pretrained models by pruning Gaussians rely on combining heuristics to determine which Gaussians to remove. At high compression ratios, these pruned scenes suffer from heavy degradation of visual fidelity and loss of foreground details. In this paper, we propose a principled sensitivity pruning score that preserves visual fidelity and foreground details at significantly higher compression ratios than existing approaches. It is computed as a second-order approximation of the reconstruction error on the training views with respect to the spatial parameters of each Gaussian. Additionally, we propose a multi-round prune-refine pipeline that can be applied to any pretrained 3D-GS model without changing its training pipeline. After pruning 90% of Gaussians, a substantially higher percentage than previous methods, our PUP 3D-GS pipeline increases average rendering speed by 3.56$\times$ while retaining more salient foreground information and achieving higher image quality metrics than existing techniques on scenes from the Mip-NeRF 360, Tanks & Temples, and Deep Blending datasets.
• Abstract（参考訳）: 近年のビュー合成の進歩により、高精度なリアルタイムレンダリングが可能になった。 基本的なポイントベースパラメトリックな3Dシーン表現である3Dガウススティング(3D-GS)は、シーンを3Dガウスの大規模なセットとしてモデル化する。 しかし、複雑なシーンは数百万のガウスからなり得るため、限られたリソースを持つデバイス上での3D-GSの有効性を制限する高いストレージとメモリ要求が生じる。 ガウスを刈り取ることでこれらの事前訓練されたモデルを圧縮する現在の手法は、ガウスがどれを除去すべきかを決定するためのヒューリスティックを組み合わせることに依存している。 高圧縮比では、これらの破砕されたシーンは、視覚的忠実度が著しく低下し、前景の細部が失われる。 本稿では,従来の手法よりもはるかに高い圧縮率で,視覚的忠実度と前景の細部を保ちながら高感度プルーニングスコアを提案する。 各ガウスの空間パラメータに関して、トレーニングビューにおける再構成誤差の2次近似として計算される。 さらに,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。 我々のPUP 3D-GSパイプラインは、従来の手法よりもかなり高い割合でガウスの90%を刈り込んだ後、平均レンダリング速度を3.56$\times$で増加させ、より詳細なフォアグラウンド情報を保持し、Mip-NeRF 360、Tamps & Temples、Deep Blendingデータセットの既存の技術よりも高い画質のメトリクスを実現した。

関連論文リスト

• 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
  多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。 3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。 本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
  論文  参考訳（メタデータ） (2024-11-22T14:31:39Z)
• Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields [13.729716867839509]
  ハイパフォーマンスを維持しつつガウスの数を著しく削減する学習可能なマスク戦略を提案する。 さらに、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。 我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
  論文  参考訳（メタデータ） (2024-08-07T14:56:34Z)
• LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
  本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。 実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T05:58:34Z)
• Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
  Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。 実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。 この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
  論文  参考訳（メタデータ） (2024-02-24T17:22:15Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)
• Identifying Unnecessary 3D Gaussians using Clustering for Fast Rendering of 3D Gaussian Splatting [2.878831747437321]
  3D-GSは、速度と画質の両方においてニューラル放射場(NeRF)を上回った新しいレンダリングアプローチである。 本研究では,現在のビューをレンダリングするために,不要な3次元ガウスをリアルタイムに識別する計算量削減手法を提案する。 Mip-NeRF360データセットの場合、提案手法は2次元画像投影の前に平均して3次元ガウスの63%を排除し、ピーク信号対雑音比(PSNR)を犠牲にすることなく全体のレンダリングを約38.3%削減する。 提案されたアクセラレータは、GPUと比較して10.7倍のスピードアップも達成している。
  論文  参考訳（メタデータ） (2024-02-21T14:16:49Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.80822249039235]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。