論文の概要: Pixel-GS: Density Control with Pixel-aware Gradient for 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2403.15530v1
- Date: Fri, 22 Mar 2024 17:59:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 22:12:28.177083
- Title: Pixel-GS: Density Control with Pixel-aware Gradient for 3D Gaussian Splatting
- Title（参考訳）: Pixel-GS:3次元ガウス平滑化のための画素認識勾配を用いた密度制御
- Authors: Zheng Zhang, Wenbo Hu, Yixing Lao, Tong He, Hengshuang Zhao,
- Abstract要約: 3D Gaussian Splatting (3DGS) は、リアルタイムレンダリング性能を向上しながら、印象的なビュー合成結果を示した。
しかし、初期点雲の品質に大きく依存しており、初期化点が不十分な地域では、ぼやけや針状のアーティファクトが生じる。
これは主に3DGSの点雲成長条件によるもので、観測可能な視点からの平均勾配等級しか考慮していない。
成長条件の計算において,各視点でガウスがカバーする画素数を考慮し,Pixel-GSという新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 34.055320554440165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting (3DGS) has demonstrated impressive novel view synthesis results while advancing real-time rendering performance. However, it relies heavily on the quality of the initial point cloud, resulting in blurring and needle-like artifacts in areas with insufficient initializing points. This is mainly attributed to the point cloud growth condition in 3DGS that only considers the average gradient magnitude of points from observable views, thereby failing to grow for large Gaussians that are observable for many viewpoints while many of them are only covered in the boundaries. To this end, we propose a novel method, named Pixel-GS, to take into account the number of pixels covered by the Gaussian in each view during the computation of the growth condition. We regard the covered pixel numbers as the weights to dynamically average the gradients from different views, such that the growth of large Gaussians can be prompted. As a result, points within the areas with insufficient initializing points can be grown more effectively, leading to a more accurate and detailed reconstruction. In addition, we propose a simple yet effective strategy to scale the gradient field according to the distance to the camera, to suppress the growth of floaters near the camera. Extensive experiments both qualitatively and quantitatively demonstrate that our method achieves state-of-the-art rendering quality while maintaining real-time rendering speed, on the challenging Mip-NeRF 360 and Tanks & Temples datasets.
- Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は、リアルタイムレンダリング性能を向上しながら、印象的なビュー合成結果を示した。
しかし、初期点雲の品質に大きく依存しており、初期化点が不十分な地域では、ぼやけや針状のアーティファクトが生じる。
これは主に、3DGSの点雲成長条件によるもので、観測可能な視点から点の平均勾配等級しか考慮していないため、多くの視点で観測可能であるが、その多くは境界線でしかカバーされていない大きなガウスに対して成長しない。
そこで本研究では,成長条件の計算において,各ビューでガウスがカバーする画素数を考慮に入れた,Pixel-GSという新しい手法を提案する。
被被覆画素数は異なる視点からの勾配を動的に平均する重みと見なす。
結果として、初期化点が不十分な領域内の点をより効果的に成長させ、より正確で詳細な再構築を行うことができる。
さらに,カメラからの距離に応じて勾配場を拡大し,カメラ近傍のフローターの成長を抑制するための簡易かつ効果的な手法を提案する。
提案手法は,Mip-NeRF 360 と Tanks & Temples のデータセットを用いて,リアルタイムレンダリング速度を維持しながら,最先端のレンダリング品質を実現することを定性的かつ定量的に実証した。
関連論文リスト
- 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。
3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。
本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
論文 参考訳（メタデータ） (2024-11-22T14:31:39Z) - Beyond Gaussians: Fast and High-Fidelity 3D Splatting with Linear Kernels [51.08794269211701]
本稿では,ガウスカーネルを線形カーネルに置き換えて,よりシャープで高精度な結果を得る3Dリニアスティング(DLS)を提案する。
3DLSは、最先端の忠実さと正確さを示し、ベースライン3DGSよりも30%のFPS改善を実現している。
論文 参考訳（メタデータ） (2024-11-19T11:59:54Z) - GaRField++: Reinforced Gaussian Radiance Fields for Large-Scale 3D Scene Reconstruction [1.7624442706463355]
本稿では,3次元ガウススプラッティングに基づく大規模シーン再構築のための新しい枠組みを提案する(3DGS)。
スケーラビリティ問題に対処するため,大規模シーンを複数のセルに分割し,各セルの候補ポイントクラウドとカメラビューとを相関させる。
本研究では,大規模シーン再構成の最先端手法よりも連続的に高忠実度レンダリング結果を生成することを示す。
論文 参考訳（メタデータ） (2024-09-19T13:43:31Z) - Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields [13.729716867839509]
ハイパフォーマンスを維持しつつガウスの数を著しく削減する学習可能なマスク戦略を提案する。
さらに、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳（メタデータ） (2024-08-07T14:56:34Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - Gaussian Splatting with Localized Points Management [52.009874685460694]
局所的点管理(LPM)は、点加算と幾何校正の双方の最も高い需要において、これらの誤り貢献ゾーンを特定することができる。
LPMは特定ゾーンに点密度を適用し、これらの領域の前に位置する点の不透明度をリセットし、不条件点を補正する新たな機会を創出する。
特に、LPMはバニラ3DGSとSpaceTimeGSの両方を改善して、リアルタイム速度を維持しながら最先端のレンダリング品質を実現している。
論文 参考訳（メタデータ） (2024-06-06T16:55:07Z) - PyGS: Large-scale Scene Representation with Pyramidal 3D Gaussian Splatting [15.378596308239667]
我々はNeRF初期化によるピラミッド型3次元ガウススプラッティング(PyGS)を提案する。
我々はこれらのピラミッドのガウスをクラスタに分類し、各クラスタのピラミッドレベルの影響を動的に決定するために、コンパクトな重み付けネットワークを使用する。
提案手法は,複数の大規模データセットにまたがる大幅な性能向上を実現し,現在の最先端手法の400倍以上のレンダリング時間を実現する。
論文 参考訳（メタデータ） (2024-05-27T04:52:21Z) - HO-Gaussian: Hybrid Optimization of 3D Gaussian Splatting for Urban Scenes [24.227745405760697]
本稿では,グリッドベースボリュームと3DGSパイプラインを組み合わせたHO-Gaussianというハイブリッド最適化手法を提案する。
広範に使用されている自律走行データセットの結果から,HO-Gaussianはマルチカメラ都市データセット上でリアルタイムに写真リアリスティックレンダリングを実現することが示された。
論文 参考訳（メタデータ） (2024-03-29T07:58:21Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS [55.85673901231235]
光ガウシアン(LightGaussian)は、3次元ガウシアンをよりコンパクトなフォーマットに変換する方法である。
ネットワーク・プルーニングにインスパイアされたLightGaussianは、ガウシアンをシーン再構築において最小限のグローバルな重要性で特定した。
LightGaussian は 3D-GS フレームワークで FPS を 144 から 237 に上げながら,平均 15 倍の圧縮率を達成する。
論文 参考訳（メタデータ） (2023-11-28T21:39:20Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳（メタデータ） (2023-11-22T20:31:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。