論文の概要: VRVVC: Variable-Rate NeRF-Based Volumetric Video Compression

• arxiv url: http://arxiv.org/abs/2412.11362v1
• Date: Mon, 16 Dec 2024 01:28:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:55:19.090384
• Title: VRVVC: Variable-Rate NeRF-Based Volumetric Video Compression
• Title（参考訳）: VRVVC: 可変レートNeRFベースのボリュームビデオ圧縮
• Authors: Qiang Hu, Houqiang Zhong, Zihan Zheng, Xiaoyun Zhang, Zhengxue Cheng, Li Song, Guangtao Zhai, Yanfeng Wang,
• Abstract要約: NeRFベースのビデオは、FVV(Photorealistic Free-Viewpoint Video)体験を提供することによって、ビジュアルメディアに革命をもたらした。 大量のデータボリュームは、ストレージと送信に重大な課題をもたらす。 ビデオ圧縮のための新しいエンドツーエンドの可変レートフレームワークであるVRVVCを提案する。
• 参考スコア（独自算出の注目度）: 59.14355576912495
• License:
• Abstract: Neural Radiance Field (NeRF)-based volumetric video has revolutionized visual media by delivering photorealistic Free-Viewpoint Video (FVV) experiences that provide audiences with unprecedented immersion and interactivity. However, the substantial data volumes pose significant challenges for storage and transmission. Existing solutions typically optimize NeRF representation and compression independently or focus on a single fixed rate-distortion (RD) tradeoff. In this paper, we propose VRVVC, a novel end-to-end joint optimization variable-rate framework for volumetric video compression that achieves variable bitrates using a single model while maintaining superior RD performance. Specifically, VRVVC introduces a compact tri-plane implicit residual representation for inter-frame modeling of long-duration dynamic scenes, effectively reducing temporal redundancy. We further propose a variable-rate residual representation compression scheme that leverages a learnable quantization and a tiny MLP-based entropy model. This approach enables variable bitrates through the utilization of predefined Lagrange multipliers to manage the quantization error of all latent representations. Finally, we present an end-to-end progressive training strategy combined with a multi-rate-distortion loss function to optimize the entire framework. Extensive experiments demonstrate that VRVVC achieves a wide range of variable bitrates within a single model and surpasses the RD performance of existing methods across various datasets.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)ベースのボリューム・ビデオは、フォトリアリスティック・フリー・ビューポイント・ビデオ(FVV)体験を提供し、観客に前例のない没入感と対話性を提供することで、視覚メディアに革命をもたらした。 しかし、大量のデータボリュームは、ストレージと送信に重大な課題をもたらす。 既存のソリューションは通常、NeRF表現と圧縮を独立に最適化するか、単一の固定レート歪み(RD)トレードオフに集中する。 本稿では,単一モデルを用いた可変ビットレートを実現するとともに,優れたRD性能を維持しつつ,可変ビットレートを実現する,ボリュームビデオ圧縮のための新しいエンドツーエンド共同最適化可変レートフレームワークであるVRVVCを提案する。 特にVRVVCは、長周期動的シーンのフレーム間モデリングのためのコンパクトな三面体残差表現を導入し、時間的冗長性を効果的に低減する。 さらに,学習可能な量子化とMDPに基づく小さなエントロピーモデルを活用する可変レート残差表現圧縮方式を提案する。 このアプローチは、事前定義されたラグランジュ乗算器を利用して、すべての潜在表現の量子化誤差を管理する可変ビットレートを可能にする。 最後に、フレームワーク全体を最適化するために、エンドツーエンドのプログレッシブトレーニング戦略とマルチレート歪み損失関数を組み合わせる。 大規模な実験により、VRVVCは単一のモデル内で幅広い可変ビットレートを達成し、様々なデータセットにまたがる既存のメソッドのRD性能を上回ることが示されている。

関連論文リスト

• HPC: Hierarchical Progressive Coding Framework for Volumetric Video [39.403294185116]
  ニューラルレージアンスフィールド(NeRF)に基づくボリュームビデオは、様々な3Dアプリケーションに対して大きな可能性を秘めている。 現在のNeRF圧縮は、ビデオ品質を調整できる柔軟性に欠けており、様々なネットワークやデバイス能力のための単一のモデル内である。 単一モデルを用いて可変性を実現する新しい階層型プログレッシブビデオ符号化フレームワークであるHPCを提案する。
  論文  参考訳（メタデータ） (2024-07-12T06:34:24Z)
• Neural NeRF Compression [19.853882143024]
  最近のNeRFは、レンダリング品質とスピードを改善するために機能グリッドを利用している。 これらの表現は、大きなストレージオーバーヘッドをもたらす。 本稿では,グリッドベースNeRFモデルを効率よく圧縮する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T09:12:26Z)
• JointRF: End-to-End Joint Optimization for Dynamic Neural Radiance Field Representation and Compression [39.403294185116]
  本稿では,動的NeRF表現と圧縮を両立する新しいエンドツーエンドのジョイント最適化手法,JointRFを提案する。 ジョイントRFは, 従来手法に比べて, 品質と圧縮効率を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-23T11:32:46Z)
• ConVRT: Consistent Video Restoration Through Turbulence with Test-time Optimization of Neural Video Representations [13.38405890753946]
  乱流を通した連続ビデオ再生(ConVRT)を自己管理する手法を提案する。 ConVRTは、回復時の時間的一貫性を高めるように設計されたニューラルビデオ表現を特徴とするテスト時間最適化手法である。 ConVRTの重要な革新は、セマンティック指向の監視のための事前訓練された視覚言語モデル(CLIP)の統合である。
  論文  参考訳（メタデータ） (2023-12-07T20:19:48Z)
• Spatial-Temporal Transformer based Video Compression Framework [44.723459144708286]
  本稿では,STT-VC(Spatial-Temporal Transformer based Video Compression)フレームワークを提案する。 動作推定と補償のためのオフセット推定のためのUformerベースのオフセット推定を備えたRelaxed Deformable Transformer (RDT)と、予測改善のためのマルチ参照フレームに基づくMulti-Granularity Prediction (MGP)モジュールと、時間空間的継手残留圧縮を効率的に行うSpatial Feature Distribution prior based Transformer (SFD-T)を含む。 実験の結果,VTMよりも13.5%のBD-Rateを節約できることがわかった。
  論文  参考訳（メタデータ） (2023-09-21T09:23:13Z)
• Cross-Consistent Deep Unfolding Network for Adaptive All-In-One Video Restoration [78.14941737723501]
  オールインワンVRのためのクロスコンセントディープ・アンフォールディング・ネットワーク(CDUN)を提案する。 2つのカスケード手順を編成することにより、CDUNは様々な劣化に対する適応的な処理を達成する。 さらに、より隣接するフレームからの情報を活用するために、ウィンドウベースのフレーム間融合戦略を導入する。
  論文  参考訳（メタデータ） (2023-09-04T14:18:00Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)
• Learned Video Compression via Heterogeneous Deformable Compensation Network [78.72508633457392]
  不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。 より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。 実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-11T02:31:31Z)
• Recurrent Video Restoration Transformer with Guided Deformable Attention [116.1684355529431]
  本稿では,グローバルなリカレントフレームワーク内で,隣接するフレームを並列に処理するRVRTを提案する。 RVRTは、バランスの取れたモデルサイズ、メモリとランタイムをテストするベンチマークデータセット上で、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-05T10:36:09Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。