論文の概要: Compressed 3D Gaussian Splatting for Accelerated Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2401.02436v1
• Date: Fri, 17 Nov 2023 14:40:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 09:43:05.876240
• Title: Compressed 3D Gaussian Splatting for Accelerated Novel View Synthesis
• Title（参考訳）: 圧縮3次元ガウススプレーティングによる新規視合成の高速化
• Authors: Simon Niedermayr, Josef Stumpfegger, R\"udiger Westermann
• Abstract要約: スパース画像集合からの新規なビュー合成のために,3次元ガウススプラット表現を最適化した高忠実度シーン再構成を導入した。 本稿では,感性を考慮したベクトルクラスタリングと量子化学習を併用した3次元ガウススプラット表現を用いて,方向色とガウスパラメータを圧縮する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.552480439325792
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recently, high-fidelity scene reconstruction with an optimized 3D Gaussian splat representation has been introduced for novel view synthesis from sparse image sets. Making such representations suitable for applications like network streaming and rendering on low-power devices requires significantly reduced memory consumption as well as improved rendering efficiency. We propose a compressed 3D Gaussian splat representation that utilizes sensitivity-aware vector clustering with quantization-aware training to compress directional colors and Gaussian parameters. The learned codebooks have low bitrates and achieve a compression rate of up to $31\times$ on real-world scenes with only minimal degradation of visual quality. We demonstrate that the compressed splat representation can be efficiently rendered with hardware rasterization on lightweight GPUs at up to $4\times$ higher framerates than reported via an optimized GPU compute pipeline. Extensive experiments across multiple datasets demonstrate the robustness and rendering speed of the proposed approach.
• Abstract（参考訳）: 近年,スパース画像集合からの新たなビュー合成のために,3次元ガウススプラット表現を最適化した高忠実度シーン再構成が導入された。 このような表現をネットワークストリーミングや低消費電力デバイスでのレンダリングのようなアプリケーションに適したものにするには、メモリ消費を大幅に削減し、レンダリング効率を向上する必要がある。 本稿では,感性を考慮したベクトルクラスタリングと量子化学習を併用した3次元ガウススプラット表現を提案する。 学習したコードブックはビットレートが低く、ビジュアル品質の最小限の劣化しかなく、現実世界のシーンでの圧縮レートが311\times$に達する。 圧縮されたsplat表現は、最適化されたgpu計算パイプラインを介して報告されるよりも最大4\times$のフレームレートで、軽量gpu上でハードウェアラスタイゼーションによって効率的にレンダリングできることを実証する。 複数のデータセットにわたる大規模な実験は、提案手法の堅牢性とレンダリング速度を示している。

関連論文リスト

• Temporally Compressed 3D Gaussian Splatting for Dynamic Scenes [46.64784407920817]
  時間圧縮3Dガウススティング(TC3DGS)は動的3Dガウス表現を圧縮する新しい技術である。 複数のデータセットにまたがる実験により、T3DGSは最大67$times$圧縮を実現し、視覚的品質の劣化を最小限に抑えることができた。
  論文  参考訳（メタデータ） (2024-12-07T17:03:09Z)
• Speedy-Splat: Fast 3D Gaussian Splatting with Sparse Pixels and Sparse Primitives [60.217580865237835]
  3D Gaussian Splatting (3D-GS)は、3D Gaussian のパラメトリック点雲としてシーンをモデル化することで、新しいビューをリアルタイムにレンダリングすることのできる最近の3Dシーン再構築技術である。 3D-GSでは,レンダリング速度,モデルサイズ,トレーニング時間の大幅な改善を実現し,2つの重要な非効率性に対処する。 我々のSpeedy-Splatアプローチはこれらのテクニックを組み合わせることで、Mip-NeRF 360、Tamps & Temples、Deep Blendingのデータセットから、平均レンダリング速度を6.71ドル(約6万6000円)で加速します。
  論文  参考訳（メタデータ） (2024-11-30T20:25:56Z)
• Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields [13.729716867839509]
  ハイパフォーマンスを維持しつつガウスの数を著しく削減する学習可能なマスク戦略を提案する。 さらに、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。 我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
  論文  参考訳（メタデータ） (2024-08-07T14:56:34Z)
• 3D Gaussian Ray Tracing: Fast Tracing of Particle Scenes [50.36933474990516]
  本研究は, 粒子のトレーシング, 境界体積階層の構築, 高性能なレイトレーシングハードウェアを用いた各画素のレイキャストについて考察する。 半透明粒子の多量処理を効率的に行うために,有界メッシュで粒子をカプセル化するアルゴリズムについて述べる。 実験は、我々のアプローチの速度と精度、およびコンピュータグラフィックスとビジョンにおけるいくつかの応用を実証する。
  論文  参考訳（メタデータ） (2024-07-09T17:59:30Z)
• Feature Splatting for Better Novel View Synthesis with Low Overlap [9.192660643226372]
  3D Splattingは非常に有望なシーン表現として登場し、新しいビュー合成における最先端の品質を実現している。 本稿では,3次元ガウスの色彩情報をガウス特徴ベクトルに符号化し,特徴分割(Feature Splatting)と表現する。
  論文  参考訳（メタデータ） (2024-05-24T13:02:29Z)
• CompGS: Efficient 3D Scene Representation via Compressed Gaussian Splatting [68.94594215660473]
  Compressed Gaussian Splatting (CompGS) という,効率的な3次元シーン表現を提案する。 我々は少数のアンカープリミティブを予測に利用し、プリミティブの大多数を非常にコンパクトな残留形にカプセル化することができる。 実験の結果,提案手法は既存の手法よりも優れており,モデル精度とレンダリング品質を損なうことなく,3次元シーン表現のコンパクト性に優れていた。
  論文  参考訳（メタデータ） (2024-04-15T04:50:39Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
  本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。 また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。 我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
  論文  参考訳（メタデータ） (2023-11-22T20:31:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。