論文の概要: Efficient Dynamic-NeRF Based Volumetric Video Coding with Rate
Distortion Optimization
- arxiv url: http://arxiv.org/abs/2402.01380v1
- Date: Fri, 2 Feb 2024 13:03:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 15:29:07.350197
- Title: Efficient Dynamic-NeRF Based Volumetric Video Coding with Rate
Distortion Optimization
- Title(参考訳): レート歪み最適化による高能率動的nerfベースボリュームビデオ符号化
- Authors: Zhiyu Zhang, Guo Lu, Huanxiong Liang, Anni Tang, Qiang Hu, Li Song
- Abstract要約: NeRFは、シンプルな表現と強力な3Dモデリング機能のおかげで、ボリュームビデオ圧縮において顕著な可能性を秘めている。
ReRFは、モデリングを圧縮プロセスから分離し、最適化された圧縮効率をもたらす。
本稿では,よりコンパクトな動的NeRFに基づくボリュームビデオ圧縮手法を提案する。
- 参考スコア(独自算出の注目度): 21.089468798269674
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Volumetric videos, benefiting from immersive 3D realism and interactivity,
hold vast potential for various applications, while the tremendous data volume
poses significant challenges for compression. Recently, NeRF has demonstrated
remarkable potential in volumetric video compression thanks to its simple
representation and powerful 3D modeling capabilities, where a notable work is
ReRF. However, ReRF separates the modeling from compression process, resulting
in suboptimal compression efficiency. In contrast, in this paper, we propose a
volumetric video compression method based on dynamic NeRF in a more compact
manner. Specifically, we decompose the NeRF representation into the coefficient
fields and the basis fields, incrementally updating the basis fields in the
temporal domain to achieve dynamic modeling. Additionally, we perform
end-to-end joint optimization on the modeling and compression process to
further improve the compression efficiency. Extensive experiments demonstrate
that our method achieves higher compression efficiency compared to ReRF on
various datasets.
- Abstract(参考訳): 没入的な3d現実主義と対話性から恩恵を受けたボリュームビデオは、様々なアプリケーションにとって大きな可能性を秘めている。
最近、NeRFは、そのシンプルな表現と強力な3Dモデリング能力により、ボリュームビデオ圧縮において顕著な可能性を実証している。
しかし、rerfはモデルを圧縮プロセスから分離し、サブ最適圧縮効率をもたらす。
一方,本稿では,よりコンパクトな動的NeRFに基づくボリュームビデオ圧縮手法を提案する。
具体的には、nrf表現を係数場と基底場に分解し、時間領域の基底フィールドを段階的に更新して動的モデリングを行う。
さらに,圧縮効率をさらに向上させるために,モデリングと圧縮プロセスのエンドツーエンド共同最適化を行う。
実験により, 各種データセットのReRFと比較して圧縮効率が高いことを示した。
関連論文リスト
- SPC-NeRF: Spatial Predictive Compression for Voxel Based Radiance Field [41.33347056627581]
本稿では,EVG圧縮に空間予測符号化を適用した新しいフレームワークであるSPC-NeRFを提案する。
我々の手法は最先端のVQRFに比べて32%のビット節約が可能である。
論文 参考訳(メタデータ) (2024-02-26T07:40:45Z) - FPO++: Efficient Encoding and Rendering of Dynamic Neural Radiance
Fields by Analyzing and Enhancing Fourier PlenOctrees [4.033107207078283]
Fourier PlenOctreesは動的ニューラルレイディアンス場(NeRF)のリアルタイムレンダリングの効率的な表現であることを示した。
本稿では,これらのアーティファクトの詳細な分析を行い,得られた知見を活用して,改良された表現を提案する。
論文 参考訳(メタデータ) (2023-10-31T17:59:58Z) - VQ-NeRF: Vector Quantization Enhances Implicit Neural Representations [25.88881764546414]
VQ-NeRFは、ベクトル量子化による暗黙の神経表現を強化するための効率的なパイプラインである。
圧縮および原スケールの両スケールでNeRFモデルを同時に最適化する,革新的なマルチスケールNeRFサンプリング方式を提案する。
我々は3次元再構成の幾何学的忠実度とセマンティックコヒーレンスを改善するためにセマンティックロス関数を組み込んだ。
論文 参考訳(メタデータ) (2023-10-23T01:41:38Z) - Learned Video Compression via Heterogeneous Deformable Compensation
Network [78.72508633457392]
不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。
より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。
実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2022-07-11T02:31:31Z) - Learning True Rate-Distortion-Optimization for End-To-End Image
Compression [59.816251613869376]
速度歪みの最適化は、従来の画像圧縮とビデオ圧縮の重要な部分である。
本稿では,RDO結果の低複雑さ推定をトレーニングに導入することにより,トレーニングの強化を図る。
我々は以前のRDONetモデルに比べてMS-SSIMで平均19.6%のレートセーブを実現し、従来のディープイメージコーダに比べて27.3%のレートセーブを実現した。
論文 参考訳(メタデータ) (2022-01-05T13:02:00Z) - Remote Multilinear Compressive Learning with Adaptive Compression [107.87219371697063]
MultiIoT Compressive Learning (MCL)は、多次元信号に対する効率的な信号取得および学習パラダイムである。
MCLモデルにそのような機能を実現するための新しい最適化手法を提案する。
論文 参考訳(メタデータ) (2021-09-02T19:24:03Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳(メタデータ) (2021-05-24T12:07:38Z) - COMISR: Compression-Informed Video Super-Resolution [76.94152284740858]
ウェブやモバイルデバイスのほとんどのビデオは圧縮され、帯域幅が制限されると圧縮は厳しい。
圧縮によるアーティファクトを導入せずに高解像度コンテンツを復元する圧縮インフォームドビデオ超解像モデルを提案する。
論文 参考訳(メタデータ) (2021-05-04T01:24:44Z) - Slimmable Compressive Autoencoders for Practical Neural Image
Compression [20.715312224456138]
実画像圧縮のためのスリム圧縮オートエンコーダ(SlimCAEs)を提案する。
SlimCAEは、優れたレート歪み性能、可変率、メモリの動的調整、計算コスト、レイテンシを提供する柔軟性の高いモデルです。
論文 参考訳(メタデータ) (2021-03-29T16:12:04Z) - End-to-End Facial Deep Learning Feature Compression with Teacher-Student
Enhancement [57.18801093608717]
本稿では,ディープニューラルネットワークの表現と学習能力を活用することで,エンドツーエンドの特徴圧縮手法を提案する。
特に、抽出した特徴量を、レート歪みコストを最適化することにより、エンドツーエンドでコンパクトに符号化する。
提案モデルの有効性を顔の特徴で検証し, 圧縮性能を高いレート精度で評価した。
論文 参考訳(メタデータ) (2020-02-10T10:08:44Z) - A Unified End-to-End Framework for Efficient Deep Image Compression [35.156677716140635]
本稿では,3つの新しい技術に基づくEDIC(Efficient Deep Image Compression)という統合フレームワークを提案する。
具体的には、学習に基づく画像圧縮のためのオートエンコーダスタイルのネットワークを設計する。
EDIC法は,映像圧縮性能を向上させるために,Deep Video Compression (DVC) フレームワークに容易に組み込むことができる。
論文 参考訳(メタデータ) (2020-02-09T14:21:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。