論文の概要: Boosting neural video codecs by exploiting hierarchical redundancy
- arxiv url: http://arxiv.org/abs/2208.04303v1
- Date: Mon, 8 Aug 2022 17:49:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-09 12:56:10.328958
- Title: Boosting neural video codecs by exploiting hierarchical redundancy
- Title（参考訳）: 階層的冗長性を利用したニューラルビデオコーデックの強化
- Authors: Reza Pourreza, Hoang Le, Amir Said, Guillaume Sautiere, Auke Wiggers
- Abstract要約: 従来の復号化データから外挿を学習するジェネリックモーションと残留予測器を導入する。
RGBは、ニューラルビデオ符号化文学において主要な色空間であるが、YUV420色空間を受け入れるために、ニューラルビデオコーデックの一般的な修正を導入する。
我々の実験は、よく知られたニューラルビデオで予測器を使用することで、UVGデータセットで測定されたRGBとYUV420の色空間を38%から34%節約できることを示した。
- 参考スコア（独自算出の注目度）: 4.596829771045344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In video compression, coding efficiency is improved by reusing pixels from
previously decoded frames via motion and residual compensation. We define two
levels of hierarchical redundancy in video frames: 1) first-order: redundancy
in pixel space, i.e., similarities in pixel values across neighboring frames,
which is effectively captured using motion and residual compensation, 2)
second-order: redundancy in motion and residual maps due to smooth motion in
natural videos. While most of the existing neural video coding literature
addresses first-order redundancy, we tackle the problem of capturing
second-order redundancy in neural video codecs via predictors. We introduce
generic motion and residual predictors that learn to extrapolate from
previously decoded data. These predictors are lightweight, and can be employed
with most neural video codecs in order to improve their rate-distortion
performance. Moreover, while RGB is the dominant colorspace in neural video
coding literature, we introduce general modifications for neural video codecs
to embrace the YUV420 colorspace and report YUV420 results. Our experiments
show that using our predictors with a well-known neural video codec leads to
38% and 34% bitrate savings in RGB and YUV420 colorspaces measured on the UVG
dataset.
- Abstract（参考訳）: ビデオ圧縮では、動きと残差補償により、以前復号したフレームから画素を再利用することで、符号化効率が向上する。
ビデオフレームにおける階層的冗長性の2つのレベルを定義します。
1) 第一次: 画素空間における冗長性、すなわち、隣接するフレーム間の画素値の類似性は、動きと残差補償を用いて効果的にキャプチャされる。
2)第2次:自然映像における滑らかな動きによる運動の冗長性と残留地図
既存のニューラルビデオ符号化文献のほとんどが1次冗長性に対処しているが、予測子によるニューラルビデオコーデックの2次冗長性を捉える問題に取り組んでいる。
従来の復号化データから外挿を学習するジェネリックモーションと残留予測器を導入する。
これらの予測器は軽量であり、ほとんどのニューラルビデオコーデックで使用することで、速度歪み性能を向上させることができる。
さらに、rgbはニューラルビデオ符号化における主要な色空間である一方、yuv420色空間を取り入れ、yuv420の結果を報告するために、一般的なニューラルビデオコーデックの修正を導入する。
我々の実験は、よく知られたニューラルビデオコーデックで予測器を使用することで、UVGデータセットで測定されたRGBとYUV420の色空間の38%と34%のビットレートの節約につながることを示した。
関連論文リスト
- NeRFCodec: Neural Feature Compression Meets Neural Radiance Fields for Memory-Efficient Scene Representation [22.151167286623416]
メモリ効率のよいシーン表現のための非線形変換,量子化,エントロピー符号化を統合したエンドツーエンドのNeRF圧縮フレームワークを提案する。
提案手法は既存のNeRF圧縮法より優れており、0.5MBのメモリ予算で高品質な新規ビュー合成を可能にする。
論文 参考訳（メタデータ） (2024-04-02T15:49:00Z) - NERV++: An Enhanced Implicit Neural Video Representation [11.25130799452367]
強調された暗黙的ニューラルビデオ表現であるNeRV++のニューラル表現を導入する。
NeRV++は、オリジナルのNeRVデコーダアーキテクチャよりも単純だが効果的な拡張である。
提案手法をUVG,MCL JVC,Bunnyのデータセット上で評価し,INRによる映像圧縮の競合性を実現する。
論文 参考訳（メタデータ） (2024-02-28T13:00:32Z) - MobileNVC: Real-time 1080p Neural Video Compression on a Mobile Device [11.842644678122983]
この研究は、モバイルデバイス上で1080pのYUV420ビデオをリアルタイムでデコードする最初のニューラルビデオを示す。
我々は高速デコーダパイプラインを実装し、ニューラルネットワークコンポーネントをニューラルネットワークプロセッサ上で並列に動作させ、モバイルGPU上で並列エントロピー符号化を行い、コアをワーピングする。
論文 参考訳（メタデータ） (2023-10-02T14:50:14Z) - Progressive Fourier Neural Representation for Sequential Video
Compilation [75.43041679717376]
連続学習によって動機づけられたこの研究は、シーケンシャルエンコーディングセッションを通じて、複数の複雑なビデオデータに対して、ニューラル暗黙表現を蓄積し、転送する方法を研究する。
本稿では,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という手法を提案する。
我々は,UVG8/17とDAVIS50のビデオシーケンスベンチマークでPFNR法を検証し,強力な連続学習ベースラインよりも優れた性能向上を実現した。
論文 参考訳（メタデータ） (2023-06-20T06:02:19Z) - HNeRV: A Hybrid Neural Representation for Videos [56.492309149698606]
暗黙の神経表現は、動画をニューラルネットワークとして保存する。
ビデオ用ハイブリッドニューラル表現法(HNeRV)を提案する。
コンテンツ適応型埋め込みと再設計アーキテクチャにより、HNeRVはビデオレグレッションタスクにおいて暗黙のメソッドよりも優れる。
論文 参考訳（メタデータ） (2023-04-05T17:55:04Z) - Towards Scalable Neural Representation for Diverse Videos [68.73612099741956]
Inlicit Neural representations (INR)は、3Dシーンや画像の表現において注目を集めている。
既存のINRベースの手法は、冗長な視覚コンテンツを持つ短いビデオの符号化に限られている。
本稿では,多種多様な視覚コンテンツを持つ長編・多作ビデオの符号化のためのニューラル表現の開発に焦点をあてる。
論文 参考訳（メタデータ） (2023-03-24T16:32:19Z) - Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。
一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
論文 参考訳（メタデータ） (2022-10-13T08:15:08Z) - COIN++: Data Agnostic Neural Compression [55.27113889737545]
COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。
様々なデータモダリティを圧縮することで,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-01-30T20:12:04Z) - Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。
本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。
従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
論文 参考訳（メタデータ） (2020-03-25T09:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。