論文の概要: 4DGC: Rate-Aware 4D Gaussian Compression for Efficient Streamable Free-Viewpoint Video

• arxiv url: http://arxiv.org/abs/2503.18421v1
• Date: Mon, 24 Mar 2025 08:05:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:34:08.109322
• Title: 4DGC: Rate-Aware 4D Gaussian Compression for Efficient Streamable Free-Viewpoint Video
• Title（参考訳）: 4DGC: 効率的なストリーミングフリー視点ビデオのためのレート対応4Dガウス圧縮
• Authors: Qiang Hu, Zihan Zheng, Houqiang Zhong, Sihua Fu, Li Song, XiaoyunZhang, Guangtao Zhai, Yanfeng Wang,
• Abstract要約: 3D Gaussian Splatting (3DGS)は、フォトリアリスティック・フリー・ビューポイント・ビデオ(FVV)体験を可能にする大きな可能性を秘めている。 既存の方法は、動的3DGS表現と圧縮を別々に扱うのが一般的である。 本稿では,FVVのRD性能を向上しつつ,ストレージサイズを大幅に削減するレート対応4Dガウス圧縮フレームワークである4DGCを提案する。
• 参考スコア（独自算出の注目度）: 56.04182926886754
• License:
• Abstract: 3D Gaussian Splatting (3DGS) has substantial potential for enabling photorealistic Free-Viewpoint Video (FVV) experiences. However, the vast number of Gaussians and their associated attributes poses significant challenges for storage and transmission. Existing methods typically handle dynamic 3DGS representation and compression separately, neglecting motion information and the rate-distortion (RD) trade-off during training, leading to performance degradation and increased model redundancy. To address this gap, we propose 4DGC, a novel rate-aware 4D Gaussian compression framework that significantly reduces storage size while maintaining superior RD performance for FVV. Specifically, 4DGC introduces a motion-aware dynamic Gaussian representation that utilizes a compact motion grid combined with sparse compensated Gaussians to exploit inter-frame similarities. This representation effectively handles large motions, preserving quality and reducing temporal redundancy. Furthermore, we present an end-to-end compression scheme that employs differentiable quantization and a tiny implicit entropy model to compress the motion grid and compensated Gaussians efficiently. The entire framework is jointly optimized using a rate-distortion trade-off. Extensive experiments demonstrate that 4DGC supports variable bitrates and consistently outperforms existing methods in RD performance across multiple datasets.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS)は、フォトリアリスティック・フリー・ビューポイント・ビデオ(FVV)体験を可能にする大きな可能性を秘めている。 しかし、ガウスの膨大な数の属性とその関連属性は、記憶と伝達に重大な課題をもたらす。 既存の方法では、動的3DGS表現と圧縮を別々に処理し、トレーニング中の動き情報やレート歪み(RD)トレードオフを無視し、性能劣化とモデル冗長性を増大させる。 このギャップに対処するため,FVVのRD性能を向上しつつ,ストレージサイズを大幅に削減する新しいレート対応4Dガウス圧縮フレームワークである4DGCを提案する。 具体的には、4DGCは、フレーム間の類似性を利用するために、スパース補償されたガウスアンと組み合わされたコンパクトなモーショングリッドを利用する動き認識型動的ガウス表現を導入している。 この表現は、大きな動きを効果的に処理し、品質を保ち、時間的冗長性を減少させる。 さらに、微分可能な量子化と小さな暗黙エントロピーモデルを用いて、運動格子を圧縮し、ガウスを効率的に補償するエンドツーエンド圧縮方式を提案する。 フレームワーク全体は、レート歪曲トレードオフを使って、共同で最適化されている。 大規模な実験では、4DGCが可変ビットレートをサポートし、複数のデータセットでRDパフォーマンスの既存のメソッドを一貫して上回っていることが示されている。

関連論文リスト

• Temporally Compressed 3D Gaussian Splatting for Dynamic Scenes [46.64784407920817]
  時間圧縮3Dガウススティング(TC3DGS)は動的3Dガウス表現を圧縮する新しい技術である。 複数のデータセットにまたがる実験により、T3DGSは最大67$times$圧縮を実現し、視覚的品質の劣化を最小限に抑えることができた。
  論文  参考訳（メタデータ） (2024-12-07T17:03:09Z)
• MEGA: Memory-Efficient 4D Gaussian Splatting for Dynamic Scenes [49.36091070642661]
  本稿では,4DGSのためのメモリ効率フレームワークを提案する。 TechnicolorとNeural 3D Videoのデータセットで約190$times$と125$times$のストレージ削減を実現している。 レンダリング速度とシーン表現の品質を維持し、フィールドに新しい標準を設定する。
  論文  参考訳（メタデータ） (2024-10-17T14:47:08Z)
• Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields [13.729716867839509]
  ハイパフォーマンスを維持しつつガウスの数を著しく削減する学習可能なマスク戦略を提案する。 さらに、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。 我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
  論文  参考訳（メタデータ） (2024-08-07T14:56:34Z)
• LGS: A Light-weight 4D Gaussian Splatting for Efficient Surgical Scene Reconstruction [33.794584735264884]
  動的内視鏡再建のための軽量4Dガウス切削フレームワーク(LGS)を提案する。 ガウス量の冗長性を最小限に抑えるため,変形対応プルーニングを提案する。 我々はまた、ガウス属性の次元を刻むことにより、非極端領域におけるテクスチャや照明の表現を単純化する。
  論文  参考訳（メタデータ） (2024-06-23T10:49:39Z)
• CompGS: Efficient 3D Scene Representation via Compressed Gaussian Splatting [68.94594215660473]
  Compressed Gaussian Splatting (CompGS) という,効率的な3次元シーン表現を提案する。 我々は少数のアンカープリミティブを予測に利用し、プリミティブの大多数を非常にコンパクトな残留形にカプセル化することができる。 実験の結果,提案手法は既存の手法よりも優れており,モデル精度とレンダリング品質を損なうことなく,3次元シーン表現のコンパクト性に優れていた。
  論文  参考訳（メタデータ） (2024-04-15T04:50:39Z)
• SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
  動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。 我々の手法は、品質と効率の両面で既存の手法を超越している。 動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
  論文  参考訳（メタデータ） (2024-04-04T18:05:18Z)
• HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian Splatting [48.59338619051709]
  HiFi4Gは、高密度映像からの高忠実度人間パフォーマンスレンダリングのための、明示的でコンパクトなガウスベースのアプローチである。 圧縮速度は25回程度で、1フレームあたり2MB未満である。
  論文  参考訳（メタデータ） (2023-12-06T12:36:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。