論文の概要: Pixel-GS: Density Control with Pixel-aware Gradient for 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2403.15530v1
- Date: Fri, 22 Mar 2024 17:59:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 22:12:28.177083
- Title: Pixel-GS: Density Control with Pixel-aware Gradient for 3D Gaussian Splatting
- Title(参考訳): Pixel-GS:3次元ガウス平滑化のための画素認識勾配を用いた密度制御
- Authors: Zheng Zhang, Wenbo Hu, Yixing Lao, Tong He, Hengshuang Zhao,
- Abstract要約: 3D Gaussian Splatting (3DGS) は、リアルタイムレンダリング性能を向上しながら、印象的なビュー合成結果を示した。
しかし、初期点雲の品質に大きく依存しており、初期化点が不十分な地域では、ぼやけや針状のアーティファクトが生じる。
これは主に3DGSの点雲成長条件によるもので、観測可能な視点からの平均勾配等級しか考慮していない。
成長条件の計算において,各視点でガウスがカバーする画素数を考慮し,Pixel-GSという新しい手法を提案する。
- 参考スコア(独自算出の注目度): 34.055320554440165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting (3DGS) has demonstrated impressive novel view synthesis results while advancing real-time rendering performance. However, it relies heavily on the quality of the initial point cloud, resulting in blurring and needle-like artifacts in areas with insufficient initializing points. This is mainly attributed to the point cloud growth condition in 3DGS that only considers the average gradient magnitude of points from observable views, thereby failing to grow for large Gaussians that are observable for many viewpoints while many of them are only covered in the boundaries. To this end, we propose a novel method, named Pixel-GS, to take into account the number of pixels covered by the Gaussian in each view during the computation of the growth condition. We regard the covered pixel numbers as the weights to dynamically average the gradients from different views, such that the growth of large Gaussians can be prompted. As a result, points within the areas with insufficient initializing points can be grown more effectively, leading to a more accurate and detailed reconstruction. In addition, we propose a simple yet effective strategy to scale the gradient field according to the distance to the camera, to suppress the growth of floaters near the camera. Extensive experiments both qualitatively and quantitatively demonstrate that our method achieves state-of-the-art rendering quality while maintaining real-time rendering speed, on the challenging Mip-NeRF 360 and Tanks & Temples datasets.
- Abstract(参考訳): 3D Gaussian Splatting (3DGS) は、リアルタイムレンダリング性能を向上しながら、印象的なビュー合成結果を示した。
しかし、初期点雲の品質に大きく依存しており、初期化点が不十分な地域では、ぼやけや針状のアーティファクトが生じる。
これは主に、3DGSの点雲成長条件によるもので、観測可能な視点から点の平均勾配等級しか考慮していないため、多くの視点で観測可能であるが、その多くは境界線でしかカバーされていない大きなガウスに対して成長しない。
そこで本研究では,成長条件の計算において,各ビューでガウスがカバーする画素数を考慮に入れた,Pixel-GSという新しい手法を提案する。
被被覆画素数は異なる視点からの勾配を動的に平均する重みと見なす。
結果として、初期化点が不十分な領域内の点をより効果的に成長させ、より正確で詳細な再構築を行うことができる。
さらに,カメラからの距離に応じて勾配場を拡大し,カメラ近傍のフローターの成長を抑制するための簡易かつ効果的な手法を提案する。
提案手法は,Mip-NeRF 360 と Tanks & Temples のデータセットを用いて,リアルタイムレンダリング速度を維持しながら,最先端のレンダリング品質を実現することを定性的かつ定量的に実証した。
関連論文リスト
- EfficientGS: Streamlining Gaussian Splatting for Large-Scale High-Resolution Scene Representation [29.334665494061113]
能率GS」は3DGSを高解像度で大規模なシーンに最適化する高度なアプローチである。
3DGSの密度化過程を解析し,ガウスの過剰増殖領域を同定した。
本稿では,ガウス的増加を重要な冗長プリミティブに制限し,表現効率を向上する選択的戦略を提案する。
論文 参考訳(メタデータ) (2024-04-19T10:32:30Z) - HO-Gaussian: Hybrid Optimization of 3D Gaussian Splatting for Urban Scenes [24.227745405760697]
本稿では,グリッドベースボリュームと3DGSパイプラインを組み合わせたHO-Gaussianというハイブリッド最適化手法を提案する。
広範に使用されている自律走行データセットの結果から,HO-Gaussianはマルチカメラ都市データセット上でリアルタイムに写真リアリスティックレンダリングを実現することが示された。
論文 参考訳(メタデータ) (2024-03-29T07:58:21Z) - Analytic-Splatting: Anti-Aliased 3D Gaussian Splatting via Analytic Integration [49.004898985671815]
3DGSはエイリアスフリーではなく、解像度の異なるレンダリングは、ひどくぼやけたり、ジャギーになったりする可能性がある。
これは、3DGSが各ピクセルを領域ではなく孤立した単一点として扱い、ピクセルのフットプリントの変化に敏感であるからである。
本稿では、この近似を2次元のピクセルシェーディングに導入し、2D-ピクセルウィンドウ領域内のガウス積分を解析的に近似するアナリシス・スプレイティングを提案する。
論文 参考訳(メタデータ) (2024-03-17T02:06:03Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian
Splatting [57.80942520483354]
3D-GSはしばしば、特異成分と異方性成分を正確にモデル化するのに困難に直面する。
球面調和の代わりに異方性球面ガウス場を利用するアプローチであるSpec-Gaussianを導入する。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
論文 参考訳(メタデータ) (2024-02-24T17:22:15Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳(メタデータ) (2024-02-22T16:00:20Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳(メタデータ) (2023-11-22T20:31:16Z) - DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation [55.661467968178066]
本稿では,DreamGaussianを提案する。DreamGaussianは,効率と品質を両立させる新しい3Dコンテンツ生成フレームワークである。
我々の重要な洞察は、UV空間におけるメッシュ抽出とテクスチャ改善を伴う3次元ガウススプラッティングモデルを設計することである。
ニューラル・ラジアンス・フィールドにおける占有プルーニングとは対照的に、3次元ガウスの進行的な密度化は3次元生成タスクにおいて著しく速く収束することを示した。
論文 参考訳(メタデータ) (2023-09-28T17:55:05Z) - Ponder: Point Cloud Pre-training via Neural Rendering [93.34522605321514]
本稿では,識別可能なニューラルエンコーダによる点雲表現の自己教師型学習手法を提案する。
学習したポイントクラウドは、3D検出やセグメンテーションといったハイレベルなレンダリングタスクだけでなく、3D再構成や画像レンダリングといった低レベルなタスクを含む、さまざまなダウンストリームタスクに簡単に統合できる。
論文 参考訳(メタデータ) (2022-12-31T08:58:39Z) - Graph-Based Depth Denoising & Dequantization for Point Cloud Enhancement [47.61748619439693]
3Dポイントの雲は通常、センサーが1つ以上の視点で取得した深さの測定から構築される。
以前の作業では、不完全な深度データを3D空間に投影した後、点雲テクティタ後部をノイズ化する。
本研究では,3次元点雲の合成に先立って,検出画像のテクスタイタ事前に直接深度測定を施す。
論文 参考訳(メタデータ) (2021-11-09T04:17:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。