論文の概要: CAGS: Color-Adaptive Volumetric Video Streaming with Dynamic 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2605.09279v1
- Date: Sun, 10 May 2026 03:08:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.163691
- Title: CAGS: Color-Adaptive Volumetric Video Streaming with Dynamic 3D Gaussian Splatting
- Title(参考訳): CAGS:ダイナミック3Dガウススプレイティングによるカラー適応ボリュームビデオストリーミング
- Abstract要約: ボリュームビデオ(VV)ストリーミングは、リモート3D環境へのリアルタイムで没入的なアクセス、テレプレゼンス、生態モニタリング、ロボット遠隔操作を可能にする。
これらのアプリケーションは、VVストリーミングをリアルタイムなインターフェイスからリモートの物理的環境へと変換し、光リアルなシーン表現、低レイテンシのインタラクション、異種ネットワークでの堅牢なパフォーマンスに対するシステムレベルの新しい要求を提起する。
3D Gaussian Splatting (3DGS)はリアルタイムレンダリングに広く使われており、視覚的品質とレンダリング性能が優れているが、帯域幅の消費による課題に直面している。
ベクトル量子を用いた適応型VVストリーミングのための新しいカラー適応方式を提案する。
- 参考スコア(独自算出の注目度): 24.443567258025066
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Volumetric video (VV) streaming enables real-time, immersive access to remote 3D environments, powering telepresence, ecological monitoring, and robotic teleoperation. These applications turn VV streaming into a real-time interface to remote physical environments, imposing new system-level demands for photorealistic scene representation, low-latency interaction, and robust performance under heterogeneous networks. 3D Gaussian Splatting (3DGS) has been widely used for real-time photorealistic rendering, offering superior visual quality and rendering performance, but it faces challenges due to bandwidth consumption. Furthermore, as the foundation of adaptive VV streaming, existing Levels of Detail (LoD) methods based on density are not well-suited to Gaussian representations, leading to visible gaps and severe quality degradation. Recent studies have also explored attribute compression techniques to reduce bandwidth consumption. Our preliminary studies reveal that aggressive attribute compression primarily causes color distortion, which can be effectively corrected in the rendered image using a reference image. Motivated by these findings, we propose a novel Color-Adaptive scheme for adaptive VV streaming that uses vector quantization (VQ) to establish LoDs and correct color distortions with low-resolution reference images. We further present CAGS, an adaptive VV streaming system compatible with diverse Gaussian representations, which integrates the Color-Adaptive scheme by rendering reference images on the streaming server and performing color restoration on the client. Extensive experiments on our prototype system demonstrate that CAGS outperforms the existing adaptive streaming systems in PSNR by 5$\sim$20 dB under fluctuating bandwidth, operates significantly faster than existing scalable Gaussian compression methods, and generalizes across different Gaussian representations.
- Abstract(参考訳): ボリュームビデオ(VV)ストリーミングは、リモート3D環境へのリアルタイムで没入的なアクセス、テレプレゼンス、生態モニタリング、ロボット遠隔操作を可能にする。
これらのアプリケーションは、VVストリーミングをリアルタイムなインターフェースからリモート物理環境へと変換し、光リアルなシーン表現、低レイテンシインタラクション、異種ネットワークでの堅牢なパフォーマンスに対するシステムレベルの新たな要求を課している。
3D Gaussian Splatting (3DGS)はリアルタイムのフォトリアリスティックレンダリングに広く使われており、視覚的品質とレンダリング性能が優れているが、帯域幅の消費による課題に直面している。
さらに、適応VVストリーミングの基礎として、密度に基づく既存のレベル・オブ・ディーテール(LoD)法はガウス表現には適さないため、目に見えるギャップと厳しい品質劣化をもたらす。
近年,帯域幅削減のための属性圧縮技術についても検討されている。
予備研究では、アグレッシブ属性圧縮は、主に色歪みを引き起こし、参照画像を用いてレンダリング画像に有効に補正できることを示した。
そこで本研究では,ベクトル量子化(VQ)を用いた適応型VVストリーミングのための新しいカラー適応方式を提案する。
さらに,多様なガウス表現に適合する適応型VVストリーミングシステムであるCAGSを,ストリーミングサーバ上で参照画像をレンダリングし,クライアント上で色復元を行うことにより,カラー適応方式を統合した。
プロトタイプシステム上での大規模な実験により、CAGSはPSNRの既存の適応ストリーミングシステムよりも5$\sim$20dBの帯域幅で優れており、既存のスケーラブルなガウス圧縮法よりもはるかに高速に動作し、様々なガウス表現を一般化することを示した。
関連論文リスト
- Seeing What Matters: Perceptual Wrapper with Common Randomness for 3D Gaussian Splatting [8.053023331297602]
3D Gaussian Splatting (3DGS) はリアルタイムレンダリングを実現するが、高周波テクスチャの合成に苦慮している。
本稿では,既存の3DGS表現の描画出力をコンテンツとビューに依存した方法で拡張する多目的2D知覚ラッパーを提案する。
論文 参考訳(メタデータ) (2026-06-10T08:14:47Z) - RAVE: Rate-Adaptive Visual Encoding for 3D Gaussian Splatting [17.19039932786604]
本稿では,予め定義された境界間の任意の速度で3DGSを圧縮するフレキシブル圧縮手法を提案する。
本手法は計算量的に軽量であり,任意の速度で再学習する必要がなく,幅広い操作点にまたがるレンダリング品質を保っている。
実験により、このアプローチは動的レート制御を提供しながら効率的で高品質な圧縮を実現し、没入型アプリケーションにおける実用的なデプロイに適していることが示された。
論文 参考訳(メタデータ) (2025-12-07T23:59:46Z) - GFix: Perceptually Enhanced Gaussian Splatting Video Compression [16.637492219941446]
既存の3DGSベースのビデオコーデックは、より目立った視覚的アーティファクトと比較的低い圧縮比を示す。
本稿では,3DGSのレンダリングと量子化の成果物が拡散訓練中に採取した雑音に類似しているという仮定に基づいて,3DGSによる映像圧縮の知覚的向上を特に狙う。
本稿では,市販のニューラルエンハンサーとして機能する,一段拡散モデルの合理化によるコンテンツ適応型フレームワークGFixを提案する。
論文 参考訳(メタデータ) (2025-11-10T11:03:30Z) - 4DGCPro: Efficient Hierarchical 4D Gaussian Compression for Progressive Volumetric Video Streaming [52.76837132019501]
本稿では,新しい階層型4D圧縮フレームワークである4DGCProを紹介する。
4DGCProは、プログレッシブボリュームビデオストリーミングによるリアルタイムモバイルデコーディングと高品質なレンダリングを容易にする。
エンドツーエンドのエントロピー最適化トレーニングスキームを提案する。
論文 参考訳(メタデータ) (2025-09-22T08:38:17Z) - Adaptive 3D Gaussian Splatting Video Streaming [28.283254336752602]
本稿では,3DGSボリュームビデオストリーミングのための革新的なフレームワークを提案する。
ハイブリット・サリエンシ・タイリングと差別化品質・モデリングを用いて、効率的なデータ圧縮と帯域幅変動への適応を実現する。
提案手法は,映像品質,圧縮効率,伝送速度など,様々な面で既存手法よりも優れていた。
論文 参考訳(メタデータ) (2025-07-19T01:45:24Z) - 4DGC: Rate-Aware 4D Gaussian Compression for Efficient Streamable Free-Viewpoint Video [56.04182926886754]
3D Gaussian Splatting (3DGS)は、フォトリアリスティック・フリー・ビューポイント・ビデオ(FVV)体験を可能にする大きな可能性を秘めている。
既存の方法は、動的3DGS表現と圧縮を別々に扱うのが一般的である。
本稿では,FVVのRD性能を向上しつつ,ストレージサイズを大幅に削減するレート対応4Dガウス圧縮フレームワークである4DGCを提案する。
論文 参考訳(メタデータ) (2025-03-24T08:05:27Z) - BEAM: Bridging Physically-based Rendering and Gaussian Modeling for Relightable Volumetric Video [58.97416204208624]
BEAMは、4Dガウス表現を物理ベースレンダリング(PBR)でブリッジし、高品質でライティング可能なビデオを生成する新しいパイプラインである。
BEAMは、様々な照明条件下で現実的な人生のような可視化を提供することで、インタラクティブなエンターテイメント、ストーリーテリング、クリエイティブな可視化の新しい可能性を開く。
論文 参考訳(メタデータ) (2025-02-12T10:58:09Z) - VRVVC: Variable-Rate NeRF-Based Volumetric Video Compression [59.14355576912495]
NeRFベースのビデオは、FVV(Photorealistic Free-Viewpoint Video)体験を提供することによって、ビジュアルメディアに革命をもたらした。
大量のデータボリュームは、ストレージと送信に重大な課題をもたらす。
ビデオ圧縮のための新しいエンドツーエンドの可変レートフレームワークであるVRVVCを提案する。
論文 参考訳(メタデータ) (2024-12-16T01:28:04Z) - LapisGS: Layered Progressive 3D Gaussian Splatting for Adaptive Streaming [4.209963145038135]
XRは3Dオンライン世界の効率的なストリーミングを必要とし、帯域幅に制約のある環境に適応するために現在の3DGS表現に挑戦する。
本稿では,適応ストリーミングとプログレッシブレンダリングをサポートする階層型3DGSであるLapisGSを提案する。
論文 参考訳(メタデータ) (2024-08-27T07:06:49Z) - Image-GS: Content-Adaptive Image Representation via 2D Gaussians [52.598772767324036]
本稿では,2次元ガウス放射率に基づくコンテンツ適応型画像表現であるImage-GSを紹介する。
リアルタイム使用のためにハードウェアフレンドリーな高速アクセスをサポートし、ピクセルをデコードするためには0.3KのMACしか必要としない。
テクスチャ圧縮、セマンティクス対応圧縮、共同画像圧縮と復元など、いくつかのアプリケーションでその汎用性を実証する。
論文 参考訳(メタデータ) (2024-07-02T00:45:21Z) - DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image
Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。
従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。
提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文 参考訳(メタデータ) (2023-12-12T06:07:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。