論文の概要: PyGS: Large-scale Scene Representation with Pyramidal 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2405.16829v1
- Date: Mon, 27 May 2024 04:52:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 17:00:31.506434
- Title: PyGS: Large-scale Scene Representation with Pyramidal 3D Gaussian Splatting
- Title（参考訳）: PyGS: ピラミッド型3Dガウススプレイティングによる大規模シーン表現
- Authors: Zipeng Wang, Dan Xu,
- Abstract要約: 我々はNeRF初期化によるピラミッド型3次元ガウススプラッティング(PyGS)を提案する。
我々はこれらのピラミッドのガウスをクラスタに分類し、各クラスタのピラミッドレベルの影響を動的に決定するために、コンパクトな重み付けネットワークを使用する。
提案手法は,複数の大規模データセットにまたがる大幅な性能向上を実現し,現在の最先端手法の400倍以上のレンダリング時間を実現する。
- 参考スコア（独自算出の注目度）: 15.378596308239667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRFs) have demonstrated remarkable proficiency in synthesizing photorealistic images of large-scale scenes. However, they are often plagued by a loss of fine details and long rendering durations. 3D Gaussian Splatting has recently been introduced as a potent alternative, achieving both high-fidelity visual results and accelerated rendering performance. Nonetheless, scaling 3D Gaussian Splatting is fraught with challenges. Specifically, large-scale scenes grapples with the integration of objects across multiple scales and disparate viewpoints, which often leads to compromised efficacy as the Gaussians need to balance between detail levels. Furthermore, the generation of initialization points via COLMAP from large-scale dataset is both computationally demanding and prone to incomplete reconstructions. To address these challenges, we present Pyramidal 3D Gaussian Splatting (PyGS) with NeRF Initialization. Our approach represent the scene with a hierarchical assembly of Gaussians arranged in a pyramidal fashion. The top level of the pyramid is composed of a few large Gaussians, while each subsequent layer accommodates a denser collection of smaller Gaussians. We effectively initialize these pyramidal Gaussians through sampling a rapidly trained grid-based NeRF at various frequencies. We group these pyramidal Gaussians into clusters and use a compact weighting network to dynamically determine the influence of each pyramid level of each cluster considering camera viewpoint during rendering. Our method achieves a significant performance leap across multiple large-scale datasets and attains a rendering time that is over 400 times faster than current state-of-the-art approaches.
- Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、大規模シーンのフォトリアリスティック画像の合成に顕著な熟練性を示した。
しかし、細部や長いレンダリング期間の欠如に悩まされることが多い。
3D Gaussian Splattingは最近強力な代替として導入され、高忠実度ビジュアル結果と高速レンダリング性能の両方を実現している。
それでも、3Dガウシアン・スプレイティングのスケーリングは困難に満ちている。
特に、大規模なシーンは、複数のスケールと異なる視点のオブジェクトの統合に支障をきたし、しばしばガウス派は詳細レベルのバランスを取る必要があるため、効果が損なわれる。
さらに、大規模データセットからのCOLMAPによる初期化点の生成は、計算的に要求され、不完全な再構成をしがちである。
これらの課題に対処するために、NeRF初期化を用いたピラミッド型3Dガウススプラッティング(PyGS)を提案する。
私たちのアプローチは、ピラミッド的な方法で配置されたガウス人の階層的な集合体で、このシーンを表現しています。
ピラミッドの上部はいくつかの大きなガウス層で構成されており、その後の各層にはより小さなガウス層が密集している。
高速に訓練された格子型NeRFを様々な周波数でサンプリングすることにより,これらのピラミッド型ガウスを効果的に初期化する。
我々は、これらのピラミッドガウスをクラスタに分類し、コンパクトな重み付けネットワークを用いて、レンダリング中のカメラ視点を考慮した各クラスタのピラミッドレベルの影響を動的に決定する。
提案手法は,複数の大規模データセットにまたがる大幅な性能向上を実現し,現在の最先端手法の400倍以上のレンダリング時間を実現する。
関連論文リスト
- Adversarial Generation of Hierarchical Gaussians for 3D Generative Model [20.833116566243408]
本稿では,Gaussianを3D GANの3次元表現として利用し,その効率的かつ明示的な特徴を活用する。
生成したガウスの位置とスケールを効果的に正規化する階層的多スケールガウス表現を持つジェネレータアーキテクチャを導入する。
実験結果から,最先端の3D一貫したGANと比較して,レンダリング速度(x100)が大幅に向上することが示された。
論文 参考訳（メタデータ） (2024-06-05T05:52:20Z) - F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting [13.653629893660218]
ニューラルレイディアンス場(NeRF)のレンダリング手法の代替として,F3DGS(Facterized 3D Gaussian Splatting)を提案する。
F-3DGSはレンダリング画像に匹敵する品質を維持しながら、ストレージコストを大幅に削減する。
論文 参考訳（メタデータ） (2024-05-27T11:55:49Z) - RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting [51.51310922527121]
ガウススプラッティングを用いた大規模環境のためのRGBDカメラを用いたリアルタイム3D再構成システムを提案する。
それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。
様々な大きなシーンをリアルタイムに再現し、新しいビュー合成とカメラトラッキングの精度のリアリズムにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-30T16:54:59Z) - Gaussian Opacity Fields: Efficient and Compact Surface Reconstruction in Unbounded Scenes [50.92217884840301]
Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質でコンパクトな表面再構成のための新しいアプローチである。
GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。
GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
論文 参考訳（メタデータ） (2024-04-16T17:57:19Z) - CityGaussian: Real-time High-quality Large-Scale Scene Rendering with Gaussians [64.6687065215713]
CityGaussianは、大規模な3DGSのトレーニングとレンダリングを効率化するために、新しい分別/分別トレーニングアプローチとLevel-of-Detail(LoD)戦略を採用している。
我々のアプローチは最先端のレンダリング品質を実現し、大規模なシーンを全く異なるスケールで一貫したリアルタイムレンダリングを可能にする。
論文 参考訳（メタデータ） (2024-04-01T14:24:40Z) - Compact 3D Gaussian Splatting For Dense Visual SLAM [26.47738770606461]
本稿では,ガウス楕円体の数とパラメータサイズを削減できるコンパクトな3次元ガウス格子SLAMシステムを提案する。
余剰楕円体を減らすために、スライドウィンドウベースのマスキング戦略が最初に提案されている。
本手法は,シーン表現の最先端(SOTA)品質を維持しつつ,高速なトレーニングとレンダリングの高速化を実現する。
論文 参考訳（メタデータ） (2024-03-17T15:41:35Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳（メタデータ） (2024-02-27T11:40:50Z) - GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。
周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
論文 参考訳（メタデータ） (2024-02-15T17:32:50Z) - LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS [55.85673901231235]
光ガウシアン(LightGaussian)は、3次元ガウシアンをより効率的でコンパクトなフォーマットに変換する新しい方法である。
ネットワーク・プルーニング(Network Pruning)の概念からインスピレーションを得たLightGaussianは、シーンの再構築に貢献するに足りていないガウシアンを特定する。
本稿では,全ての属性を量子化するハイブリッド方式であるVecTree Quantizationを提案する。
論文 参考訳（メタデータ） (2023-11-28T21:39:20Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳（メタデータ） (2023-11-22T20:31:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。