論文の概要: Spectrally Pruned Gaussian Fields with Neural Compensation

• arxiv url: http://arxiv.org/abs/2405.00676v1
• Date: Wed, 1 May 2024 17:59:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 14:57:49.233983
• Title: Spectrally Pruned Gaussian Fields with Neural Compensation
• Title（参考訳）: ニューラル補償を用いた分光励起ガウス場
• Authors: Runyi Yang, Zhenxin Zhu, Zhou Jiang, Baijun Ye, Xiaoxue Chen, Yifei Zhang, Yuantao Chen, Jian Zhao, Hao Zhao,
• Abstract要約: 本研究では,スペクトルプルーニングとニューラル補償を併用したメモリ効率の高いガウス場SUNDAEを提案する。 本研究では,SUNDAEの性能を広範囲に示す。
• 参考スコア（独自算出の注目度）: 12.906474305673463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, 3D Gaussian Splatting, as a novel 3D representation, has garnered attention for its fast rendering speed and high rendering quality. However, this comes with high memory consumption, e.g., a well-trained Gaussian field may utilize three million Gaussian primitives and over 700 MB of memory. We credit this high memory footprint to the lack of consideration for the relationship between primitives. In this paper, we propose a memory-efficient Gaussian field named SUNDAE with spectral pruning and neural compensation. On one hand, we construct a graph on the set of Gaussian primitives to model their relationship and design a spectral down-sampling module to prune out primitives while preserving desired signals. On the other hand, to compensate for the quality loss of pruning Gaussians, we exploit a lightweight neural network head to mix splatted features, which effectively compensates for quality losses while capturing the relationship between primitives in its weights. We demonstrate the performance of SUNDAE with extensive results. For example, SUNDAE can achieve 26.80 PSNR at 145 FPS using 104 MB memory while the vanilla Gaussian splatting algorithm achieves 25.60 PSNR at 160 FPS using 523 MB memory, on the Mip-NeRF360 dataset. Codes are publicly available at https://runyiyang.github.io/projects/SUNDAE/.
• Abstract（参考訳）: 近年,新しい3D表現として,高速なレンダリング速度と高速なレンダリング品質に注目が集まっている。 しかし、これは高いメモリ消費、例えば、よく訓練されたガウスのフィールドは300万のガウスのプリミティブと700MB以上のメモリを使用する可能性がある。 このメモリフットプリントの高さは、プリミティブ間の関係が考慮されていないことによるものです。 本稿では,スペクトルプルーニングとニューラル補償を併用したメモリ効率のよいガウス場SUNDAEを提案する。 一方、ガウスプリミティブの集合上にグラフを構築し、それらの関係をモデル化し、スペクトルダウンサンプリングモジュールを設計し、プリミティブを励起し、所望の信号を保存する。 一方, 刈り取られたガウシアンの品質損失を補うために, 軽量ニューラルネットワークヘッドを用いて, 切削した特徴を混合し, プリミティブ間の重み関係を捕捉しながら, 効果的に品質損失を補償する。 本研究では,SUNDAEの性能を広範囲に示す。 例えば、SUNDAEは104MBのメモリで145FPSで26.80PSNRを達成でき、一方、Nap-NeRF360データセットで160FPSで25.60PSNRを達成する。 コードはhttps://runyiyang.github.io/projects/SUNDAE/で公開されている。

関連論文リスト

• MEGA: Memory-Efficient 4D Gaussian Splatting for Dynamic Scenes [49.36091070642661]
  本稿では,4DGSのためのメモリ効率フレームワークを提案する。 TechnicolorとNeural 3D Videoのデータセットで約190$times$と125$times$のストレージ削減を実現している。 レンダリング速度とシーン表現の品質を維持し、フィールドに新しい標準を設定する。
  論文  参考訳（メタデータ） (2024-10-17T14:47:08Z)
• MeshGS: Adaptive Mesh-Aligned Gaussian Splatting for High-Quality Rendering [61.64903786502728]
  本稿では,メッシュ表現を3次元ガウススプラットと統合し,再現された現実世界のシーンの高品質なレンダリングを実現する手法を提案する。 各ガウススプレートとメッシュ表面との距離を, 密接な束縛と緩い束縛の相違点として検討した。 提案手法は,2dB高いPSNRを達成し,メッシュベースのガウス分割法を1.3dBPSNRで上回った。
  論文  参考訳（メタデータ） (2024-10-11T16:07:59Z)
• Mipmap-GS: Let Gaussians Deform with Scale-specific Mipmap for Anti-aliasing Rendering [81.88246351984908]
  任意のスケールでガウスを適応させる統一最適化法を提案する。 ミップマップ技術に触発されて、ターゲットスケールのための擬似基底構造を設計し、3次元ガウスアンにスケール情報を注入するスケール一貫性誘導損失を提案する。 本手法は,PSNRの3DGSを,ズームインで平均9.25dB,ズームアウトで平均10.40dBで上回っている。
  論文  参考訳（メタデータ） (2024-08-12T16:49:22Z)
• F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting [13.653629893660218]
  ニューラルレイディアンス場(NeRF)のレンダリング手法の代替として,F3DGS(Facterized 3D Gaussian Splatting)を提案する。 F-3DGSはレンダリング画像に匹敵する品質を維持しながら、ストレージコストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-05-27T11:55:49Z)
• RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting [51.51310922527121]
  ガウススプラッティングを用いた大規模環境のためのRGBDカメラを用いたリアルタイム3D再構成システムを提案する。 それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。 様々な大きなシーンをリアルタイムに再現し、新しいビュー合成とカメラトラッキングの精度のリアリズムにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-30T16:54:59Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• CompGS: Smaller and Faster Gaussian Splatting with Vector Quantization [16.829825478946837]
  3D Gaussian Splatting (3DGS) は3次元放射場をモデリング・レンダリングするための新しい手法である。 本稿では,3DGSのストレージコストを40倍から50倍に削減し,レンダリング時間を2倍から3倍に削減し,レンダリング画像の品質を低下させる方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T00:29:13Z)
• LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS [55.85673901231235]
  光ガウシアン(LightGaussian)は、3次元ガウシアンをよりコンパクトなフォーマットに変換する方法である。 ネットワーク・プルーニングにインスパイアされたLightGaussianは、ガウシアンをシーン再構築において最小限のグローバルな重要性で特定した。 LightGaussian は 3D-GS フレームワークで FPS を 144 から 237 に上げながら,平均 15 倍の圧縮率を達成する。
  論文  参考訳（メタデータ） (2023-11-28T21:39:20Z)
• Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
  本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。 また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。 我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
  論文  参考訳（メタデータ） (2023-11-22T20:31:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。