論文の概要: Rate-aware Compression for NeRF-based Volumetric Video

• arxiv url: http://arxiv.org/abs/2411.05322v1
• Date: Fri, 08 Nov 2024 04:29:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:53:54.433066
• Title: Rate-aware Compression for NeRF-based Volumetric Video
• Title（参考訳）: NeRFを用いたボリュームビデオの速度認識圧縮
• Authors: Zhiyu Zhang, Guo Lu, Huanxiong Liang, Zhengxue Cheng, Anni Tang, Li Song,
• Abstract要約: 放射場(NeRF)は3次元ボリュームビデオ技術の開発を進展させてきた。 既存のソリューションは、トレーニング段階の後にNeRF表現を圧縮し、表現訓練と圧縮を分離する。 本稿では,提案するレートアウェア圧縮フレームワークに基づいて,トレーニング段階におけるボリュームビデオのコンパクトなNeRF表現を直接学習する。
• 参考スコア（独自算出の注目度）: 21.372568857027748
• License:
• Abstract: The neural radiance fields (NeRF) have advanced the development of 3D volumetric video technology, but the large data volumes they involve pose significant challenges for storage and transmission. To address these problems, the existing solutions typically compress these NeRF representations after the training stage, leading to a separation between representation training and compression. In this paper, we try to directly learn a compact NeRF representation for volumetric video in the training stage based on the proposed rate-aware compression framework. Specifically, for volumetric video, we use a simple yet effective modeling strategy to reduce temporal redundancy for the NeRF representation. Then, during the training phase, an implicit entropy model is utilized to estimate the bitrate of the NeRF representation. This entropy model is then encoded into the bitstream to assist in the decoding of the NeRF representation. This approach enables precise bitrate estimation, thereby leading to a compact NeRF representation. Furthermore, we propose an adaptive quantization strategy and learn the optimal quantization step for the NeRF representations. Finally, the NeRF representation can be optimized by using the rate-distortion trade-off. Our proposed compression framework can be used for different representations and experimental results demonstrate that our approach significantly reduces the storage size with marginal distortion and achieves state-of-the-art rate-distortion performance for volumetric video on the HumanRF and ReRF datasets. Compared to the previous state-of-the-art method TeTriRF, we achieved an approximately -80% BD-rate on the HumanRF dataset and -60% BD-rate on the ReRF dataset.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は3次元ボリューム・ビデオ技術の開発を進展させてきたが、それらが関与する膨大なデータ量は、記憶と伝送において大きな課題となっている。 これらの問題に対処するため、既存のソリューションは通常、トレーニング段階の後にこれらのNeRF表現を圧縮し、表現訓練と圧縮を分離する。 本稿では,提案するレートアウェア圧縮フレームワークに基づいて,トレーニング段階におけるボリュームビデオのコンパクトなNeRF表現を直接学習する。 具体的には、ボリュームビデオにおいて、NeRF表現の時間的冗長性を低減するために、単純かつ効果的なモデリング戦略を用いる。 そして、トレーニングフェーズ中に暗黙エントロピーモデルを用いて、NeRF表現のビットレートを推定する。 このエントロピーモデルは、NeRF表現の復号を支援するためにビットストリームに符号化される。 このアプローチにより、正確なビットレート推定が可能となり、コンパクトなNeRF表現が得られる。 さらに、適応量子化戦略を提案し、NeRF表現の最適量子化ステップを学習する。 最後に、NeRF表現はレート歪みトレードオフを用いて最適化することができる。 提案した圧縮フレームワークは,異なる表現に使用することができ,実験結果から,限界歪みによるストレージサイズを著しく削減し,HumanRFおよびReRFデータセット上でのボリュームビデオに対する最先端の速度歪み性能を実現することを示す。 従来の最先端のTeTriRFと比較して,HumanRFデータセットで約-80%のBDレート,ReRFデータセットで約-60%のBDレートを達成した。

関連論文リスト

• Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
  スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす 近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。 我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
  論文  参考訳（メタデータ） (2024-10-23T13:05:26Z)
• Neural NeRF Compression [19.853882143024]
  最近のNeRFは、レンダリング品質とスピードを改善するために機能グリッドを利用している。 これらの表現は、大きなストレージオーバーヘッドをもたらす。 本稿では,グリッドベースNeRFモデルを効率よく圧縮する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T09:12:26Z)
• Spatial Annealing Smoothing for Efficient Few-shot Neural Rendering [106.0057551634008]
  我々は,Spatial Annealing smoothing regularized NeRF (SANeRF) という,正確で効率的な数発のニューラルレンダリング手法を導入する。 単に1行のコードを追加することで、SANeRFは現在の数ショットのNeRF法と比較して、より優れたレンダリング品質とはるかに高速な再構築速度を提供する。
  論文  参考訳（メタデータ） (2024-06-12T02:48:52Z)
• JointRF: End-to-End Joint Optimization for Dynamic Neural Radiance Field Representation and Compression [39.403294185116]
  本稿では,動的NeRF表現と圧縮を両立する新しいエンドツーエンドのジョイント最適化手法,JointRFを提案する。 ジョイントRFは, 従来手法に比べて, 品質と圧縮効率を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-23T11:32:46Z)
• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• SPC-NeRF: Spatial Predictive Compression for Voxel Based Radiance Field [41.33347056627581]
  本稿では,EVG圧縮に空間予測符号化を適用した新しいフレームワークであるSPC-NeRFを提案する。 我々の手法は最先端のVQRFに比べて32%のビット節約が可能である。
  論文  参考訳（メタデータ） (2024-02-26T07:40:45Z)
• Efficient Dynamic-NeRF Based Volumetric Video Coding with Rate Distortion Optimization [21.089468798269674]
  NeRFは、シンプルな表現と強力な3Dモデリング機能のおかげで、ボリュームビデオ圧縮において顕著な可能性を秘めている。 ReRFは、モデリングを圧縮プロセスから分離し、最適化された圧縮効率をもたらす。 本稿では,よりコンパクトな動的NeRFに基づくボリュームビデオ圧縮手法を提案する。
  論文  参考訳（メタデータ） (2024-02-02T13:03:20Z)
• VQ-NeRF: Vector Quantization Enhances Implicit Neural Representations [25.88881764546414]
  VQ-NeRFは、ベクトル量子化による暗黙の神経表現を強化するための効率的なパイプラインである。 圧縮および原スケールの両スケールでNeRFモデルを同時に最適化する,革新的なマルチスケールNeRFサンプリング方式を提案する。 我々は3次元再構成の幾何学的忠実度とセマンティックコヒーレンスを改善するためにセマンティックロス関数を組み込んだ。
  論文  参考訳（メタデータ） (2023-10-23T01:41:38Z)
• Efficient View Synthesis with Neural Radiance Distribution Field [61.22920276806721]
  我々は,リアルタイムに効率的なビュー合成を目標とするニューラルレージアンス分布場(NeRDF)という新しい表現を提案する。 我々は、NeLFのように1ピクセル当たりの1つのネットワーク転送でレンダリング速度を保ちながら、NeRFに似た小さなネットワークを使用する。 実験の結果,提案手法は既存の手法よりも速度,品質,ネットワークサイズとのトレードオフが良好であることがわかった。
  論文  参考訳（メタデータ） (2023-08-22T02:23:28Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。