論文の概要: AirGS: Real-Time 4D Gaussian Streaming for Free-Viewpoint Video Experiences
- arxiv url: http://arxiv.org/abs/2512.20943v1
- Date: Wed, 24 Dec 2025 04:57:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-25 19:43:21.680883
- Title: AirGS: Real-Time 4D Gaussian Streaming for Free-Viewpoint Video Experiences
- Title(参考訳): AirGS:リアルタイム4Dガウシアンストリーミング
- Authors: Zhe Wang, Jinghang Li, Yifei Zhu,
- Abstract要約: 自由視点ビデオ(FVV)は、ユーザが任意の視点からシーンを見ることによって没入的な視聴体験を可能にする。
AirGSはストリーミング最適化された4DGSフレームワークで、トレーニングとデリバリを再構築して、高品質で低レイテンシな体験を可能にする。
- 参考スコア(独自算出の注目度): 8.988150010963382
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Free-viewpoint video (FVV) enables immersive viewing experiences by allowing users to view scenes from arbitrary perspectives. As a prominent reconstruction technique for FVV generation, 4D Gaussian Splatting (4DGS) models dynamic scenes with time-varying 3D Gaussian ellipsoids and achieves high-quality rendering via fast rasterization. However, existing 4DGS approaches suffer from quality degradation over long sequences and impose substantial bandwidth and storage overhead, limiting their applicability in real-time and wide-scale deployments. Therefore, we present AirGS, a streaming-optimized 4DGS framework that rearchitects the training and delivery pipeline to enable high-quality, low-latency FVV experiences. AirGS converts Gaussian video streams into multi-channel 2D formats and intelligently identifies keyframes to enhance frame reconstruction quality. It further combines temporal coherence with inflation loss to reduce training time and representation size. To support communication-efficient transmission, AirGS models 4DGS delivery as an integer linear programming problem and design a lightweight pruning level selection algorithm to adaptively prune the Gaussian updates to be transmitted, balancing reconstruction quality and bandwidth consumption. Extensive experiments demonstrate that AirGS reduces quality deviation in PSNR by more than 20% when scene changes, maintains frame-level PSNR consistently above 30, accelerates training by 6 times, reduces per-frame transmission size by nearly 50% compared to the SOTA 4DGS approaches.
- Abstract(参考訳): 自由視点ビデオ(FVV)は、ユーザが任意の視点からシーンを見ることによって没入的な視聴体験を可能にする。
FVV生成のための顕著な再構成技術として、4Dガウススプラッティング(4DGS)は、時間変化した3Dガウス楕円体を持つ動的シーンをモデル化し、高速ラスタ化により高品質なレンダリングを実現する。
しかし、既存の4DGSアプローチは、長いシーケンスで品質が低下し、相当な帯域幅とストレージオーバーヘッドを課し、リアルタイムおよび大規模デプロイメントにおける適用性を制限している。
そこで我々は,高品質で低レイテンシなFVV体験を実現するために,トレーニングパイプラインとデリバリパイプラインを再構築するストリーミング最適化4DGSフレームワークであるAirGSを提案する。
AirGSはガウスビデオストリームをマルチチャネル2Dフォーマットに変換し、キーフレームをインテリジェントに識別してフレーム再構築の品質を向上させる。
さらに、時間的コヒーレンスとインフレ損失を組み合わせることで、トレーニング時間と表現サイズを短縮する。
通信効率のよい伝送を支援するため,AirGSは整数線形プログラミング問題として4DGS配信をモデル化し,ガウス更新を適応的に実行し,再構築品質と帯域幅消費のバランスをとる軽量プルーニングレベル選択アルゴリズムを設計した。
大規模な実験では、シーン変更時にAirGSがPSNRの品質偏差を20%以上低減し、フレームレベルPSNRを30以上一貫して維持し、トレーニングを6倍加速し、SOTA 4DGSアプローチと比較してフレーム単位の伝送サイズを50%近く削減している。
関連論文リスト
- StreamSTGS: Streaming Spatial and Temporal Gaussian Grids for Real-Time Free-Viewpoint Video [16.890908589888678]
リアルタイムで自由視点ビデオ(FVV)をストリーミングすることは大きな課題に直面している。
最近の3DGSベースのFVV法は、トレーニングとレンダリングの両方において顕著なブレークスルーを達成した。
本稿では,リアルタイムストリーミング用に設計された新しいFVV表現StreamSTGSを提案する。
論文 参考訳(メタデータ) (2025-11-08T15:35:43Z) - Diff4Splat: Controllable 4D Scene Generation with Latent Dynamic Reconstruction Models [79.06910348413861]
Diff4Splatは、単一の画像から制御可能で明示的な4Dシーンを合成するフィードフォワード方式である。
単一の入力画像、カメラ軌跡、オプションのテキストプロンプトが与えられた場合、Diff4Splatは外見、幾何学、動きを符号化する変形可能な3Dガウス場を直接予測する。
論文 参考訳(メタデータ) (2025-11-01T11:16:25Z) - 4DGCPro: Efficient Hierarchical 4D Gaussian Compression for Progressive Volumetric Video Streaming [52.76837132019501]
本稿では,新しい階層型4D圧縮フレームワークである4DGCProを紹介する。
4DGCProは、プログレッシブボリュームビデオストリーミングによるリアルタイムモバイルデコーディングと高品質なレンダリングを容易にする。
エンドツーエンドのエントロピー最適化トレーニングスキームを提案する。
論文 参考訳(メタデータ) (2025-09-22T08:38:17Z) - D-FCGS: Feedforward Compression of Dynamic Gaussian Splatting for Free-Viewpoint Videos [12.24209693552492]
自由視点ビデオ(FVV)は没入型3D体験を可能にするが、動的3D表現の効率的な圧縮は依然として大きな課題である。
本稿では,時間的に相関したガウス点雲列を圧縮する新しいフィードフォワードフレームワークである動的ガウス散乱(D-FCGS)のフィードフォワード圧縮を提案する。
実験の結果,最適化手法の速度歪み特性と一致し,40倍以上の圧縮を2秒以内で達成した。
論文 参考訳(メタデータ) (2025-07-08T10:39:32Z) - Speedy Deformable 3D Gaussian Splatting: Fast Rendering and Compression of Dynamic Scenes [57.69608119350651]
動的シーンへの3次元ガウススティング(3DGS)の最近の拡張は、ニューラルネットワークを用いて各ガウスの時間変化変形を予測することによって、高品質な新規ビュー合成を実現する。
しかしながら、ガウス毎のニューラルネットワークを各フレームで実行することは、レンダリング速度を制限し、メモリと計算要求を増大させる、重大なボトルネックとなる。
動的3DGSおよび4DGS表現のレンダリング速度を2つの相補的手法により低減し,高速化する汎用パイプラインであるSpeedy Deformable 3D Gaussian Splatting(SpeeDe3DGS)を提案する。
論文 参考訳(メタデータ) (2025-06-09T16:30:48Z) - 4DGC: Rate-Aware 4D Gaussian Compression for Efficient Streamable Free-Viewpoint Video [56.04182926886754]
3D Gaussian Splatting (3DGS)は、フォトリアリスティック・フリー・ビューポイント・ビデオ(FVV)体験を可能にする大きな可能性を秘めている。
既存の方法は、動的3DGS表現と圧縮を別々に扱うのが一般的である。
本稿では,FVVのRD性能を向上しつつ,ストレージサイズを大幅に削減するレート対応4Dガウス圧縮フレームワークである4DGCを提案する。
論文 参考訳(メタデータ) (2025-03-24T08:05:27Z) - Taming 3DGS: High-Quality Radiance Fields with Limited Resources [50.92437599516609]
3D Gaussian Splatting (3DGS)は、高速で解釈可能で高忠実なレンダリングで新規ビュー合成を変換した。
予算で3DGSモデルをトレーニングし、レンダリングするという課題に取り組みます。
我々は、勾配計算と属性更新のための高速で数値的に等価な解を導出する。
論文 参考訳(メタデータ) (2024-06-21T20:44:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。