論文の概要: Compact 3D Gaussian Representation for Radiance Field
- arxiv url: http://arxiv.org/abs/2311.13681v2
- Date: Thu, 15 Feb 2024 13:52:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 23:34:30.229067
- Title: Compact 3D Gaussian Representation for Radiance Field
- Title(参考訳): 放射場に対するコンパクトな3次元ガウス表現
- Authors: Joo Chan Lee, Daniel Rho, Xiangyu Sun, Jong Hwan Ko, Eunbyung Park
- Abstract要約: 本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
- 参考スコア(独自算出の注目度): 14.729871192785696
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRFs) have demonstrated remarkable potential in
capturing complex 3D scenes with high fidelity. However, one persistent
challenge that hinders the widespread adoption of NeRFs is the computational
bottleneck due to the volumetric rendering. On the other hand, 3D Gaussian
splatting (3DGS) has recently emerged as an alternative representation that
leverages a 3D Gaussisan-based representation and adopts the rasterization
pipeline to render the images rather than volumetric rendering, achieving very
fast rendering speed and promising image quality. However, a significant
drawback arises as 3DGS entails a substantial number of 3D Gaussians to
maintain the high fidelity of the rendered images, which requires a large
amount of memory and storage. To address this critical issue, we place a
specific emphasis on two key objectives: reducing the number of Gaussian points
without sacrificing performance and compressing the Gaussian attributes, such
as view-dependent color and covariance. To this end, we propose a learnable
mask strategy that significantly reduces the number of Gaussians while
preserving high performance. In addition, we propose a compact but effective
representation of view-dependent color by employing a grid-based neural field
rather than relying on spherical harmonics. Finally, we learn codebooks to
compactly represent the geometric attributes of Gaussian by vector
quantization. With model compression techniques such as quantization and
entropy coding, we consistently show over 25$\times$ reduced storage and
enhanced rendering speed, while maintaining the quality of the scene
representation, compared to 3DGS. Our work provides a comprehensive framework
for 3D scene representation, achieving high performance, fast training,
compactness, and real-time rendering. Our project page is available at
https://maincold2.github.io/c3dgs/.
- Abstract(参考訳): ニューラル・ラジアンス・フィールド(NeRF)は、複雑な3Dシーンを高忠実度で撮影する大きな可能性を示している。
しかし、NeRFの普及を妨げている1つの永続的課題は、ボリュームレンダリングによる計算ボトルネックである。
一方、3d gaussian splatting (3dgs)は、3d gaussisanベースの表現を利用する代替表現として最近登場し、ボリュームレンダリングではなくラスタ化パイプラインを採用し、非常に高速なレンダリング速度と有望な画像品質を実現している。
しかし、3DGSは、大量のメモリとストレージを必要とするレンダリング画像の高忠実さを維持するために、相当数の3Dガウシアンを必要とするため、大きな欠点が生じる。
この重要な問題に対処するために、我々は、性能を犠牲にすることなくガウス点数を減らし、ビュー依存色や共分散のようなガウス属性を圧縮する、2つの主要な目的に特に重点を置いている。
そこで本研究では,高い性能を維持しながらガウス数を大幅に削減する学習可能なマスク戦略を提案する。
さらに,球面高調波に頼らず,格子型ニューラルネットワークを用いて,ビュー依存色をコンパクトかつ効果的に表現することを提案する。
最後に,ベクトル量子化によりガウスの幾何学的属性をコンパクトに表現するコードブックを学習する。
量子化やエントロピー符号化などのモデル圧縮技術では,3DGSに比べてシーン表現の質を保ちながら,ストレージの削減とレンダリング速度の向上を連続的に25$\times$で示す。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
プロジェクトページはhttps://maincold2.github.io/c3dgs/で閲覧できます。
関連論文リスト
- VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳(メタデータ) (2024-02-27T11:40:50Z) - Identifying Unnecessary 3D Gaussians using Clustering for Fast Rendering
of 3D Gaussian Splatting [2.878831747437321]
3D-GSは、速度と画質の両方においてニューラル放射場(NeRF)を上回った新しいレンダリングアプローチである。
本研究では,現在のビューをレンダリングするために,不要な3次元ガウスをリアルタイムに識別する計算量削減手法を提案する。
Mip-NeRF360データセットの場合、提案手法は2次元画像投影の前に平均して3次元ガウスの63%を排除し、ピーク信号対雑音比(PSNR)を犠牲にすることなく全体のレンダリングを約38.3%削減する。
提案されたアクセラレータは、GPUと比較して10.7倍のスピードアップも達成している。
論文 参考訳(メタデータ) (2024-02-21T14:16:49Z) - GES: Generalized Exponential Splatting for Efficient Radiance Field
Rendering [116.99325082775387]
GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。
周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
論文 参考訳(メタデータ) (2024-02-15T17:32:50Z) - Compact 3D Scene Representation via Self-Organizing Gaussian Grids [11.604386285817302]
局所的均一性を持つ2次元格子に3次元ガウス格子のパラメータを整理したコンパクトなシーン表現を導入する。
本手法は,3次元シーンの分布と消費の領域において,トレーニング時間の増加を伴わず,複雑なシーンの8倍から26倍の縮小係数を達成している。
論文 参考訳(メタデータ) (2023-12-19T20:18:29Z) - EAGLES: Efficient Accelerated 3D Gaussians with Lightweight EncodingS [46.01969382873856]
3Dガウシアンスプラッティング(3D-GS)は、ノベルビューシーンの合成で人気がある。
レイディアンス・ニューラル・フィールド(NeRF)に関連する長いトレーニング時間と遅いレンダリング速度の課題に対処する。
本稿では,メモリストレージの要求量を大幅に削減するために,量子化埋め込みを利用する手法を提案する。
論文 参考訳(メタデータ) (2023-12-07T18:59:55Z) - Gaussian Grouping: Segment and Edit Anything in 3D Scenes [71.54526294251887]
ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。
離散的でグループ化された3Dガウスアンは、視覚的品質、きめ細かい粒度、効率で、あらゆるものを3Dで再構成、分割、編集できることを示す。
論文 参考訳(メタデータ) (2023-12-01T17:09:31Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and
200+ FPS [59.18668438479886]
光ガウシアン(LightGaussian)は、3次元ガウシアンをより効率的でコンパクトなフォーマットに変換する新しい方法である。
ネットワーク・プルーニング(Network Pruning)の概念からインスピレーションを得たLightGaussianは、シーンの再構築に貢献するに足りていないガウシアンを特定する。
本稿では,全ての属性を量子化するハイブリッド方式であるVecTree Quantizationを提案する。
論文 参考訳(メタデータ) (2023-11-28T21:39:20Z) - Multi-Scale 3D Gaussian Splatting for Anti-Aliased Rendering [52.89132136136605]
3Dガウシアンは最近、3D再構成とレンダリングの非常に効率的な表現として現れた。
そこで本研究では,ガウスを異なるスケールで維持し,同じシーンを表現できるマルチスケール3次元ガウススプラッティングアルゴリズムを提案する。
提案アルゴリズムは13%-66%のPSNRと160%-2400%のレンダリング速度を4$times$-128$times$ scale rendering on Mip-NeRF360 data。
論文 参考訳(メタデータ) (2023-11-28T03:31:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。