論文の概要: Advancing Learned Video Compression with In-loop Frame Prediction
- arxiv url: http://arxiv.org/abs/2211.07004v2
- Date: Tue, 15 Nov 2022 23:09:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 16:17:05.276738
- Title: Advancing Learned Video Compression with In-loop Frame Prediction
- Title（参考訳）: ループ内フレーム予測による学習映像圧縮の促進
- Authors: Ren Yang, Radu Timofte, Luc Van Gool
- Abstract要約: 本稿では,ループ内フレーム予測モジュールを用いたALVC(Advanced Learned Video Compression)アプローチを提案する。
予測フレームは、以前圧縮されたフレームよりも優れた参照として機能し、圧縮性能の恩恵を受けることができる。
本実験は,学習ビデオ圧縮におけるALVC手法の最先端性能を示すものである。
- 参考スコア（独自算出の注目度）: 177.67218448278143
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent years have witnessed an increasing interest in end-to-end learned
video compression. Most previous works explore temporal redundancy by detecting
and compressing a motion map to warp the reference frame towards the target
frame. Yet, it failed to adequately take advantage of the historical priors in
the sequential reference frames. In this paper, we propose an Advanced Learned
Video Compression (ALVC) approach with the in-loop frame prediction module,
which is able to effectively predict the target frame from the previously
compressed frames, \textit{without consuming any bit-rate}. The predicted frame
can serve as a better reference than the previously compressed frame, and
therefore it benefits the compression performance. The proposed in-loop
prediction module is a part of the end-to-end video compression and is jointly
optimized in the whole framework. We propose the recurrent and the
bi-directional in-loop prediction modules for compressing P-frames and
B-frames, respectively. The experiments show the state-of-the-art performance
of our ALVC approach in learned video compression. We also outperform the
default hierarchical B mode of x265 in terms of PSNR and beat the slowest mode
of the SSIM-tuned x265 on MS-SSIM. The project page:
https://github.com/RenYang-home/ALVC.
- Abstract（参考訳）: 近年、エンド・ツー・エンドの学習ビデオ圧縮への関心が高まっている。
これまでのほとんどの作品は、基準フレームを目標フレームに向けてゆるめるためにモーションマップを検出して圧縮することで、時間的冗長性を探求している。
しかし、逐次参照フレームの歴史的な優先事項を十分に活用できなかった。
本稿では,従来圧縮されていたフレームからターゲットフレームを効果的に予測可能な,ループ内フレーム予測モジュールを用いた高度学習ビデオ圧縮(ALVC)手法を提案する。
予測フレームは、以前圧縮されたフレームよりも優れた参照として機能し、圧縮性能の恩恵を受ける。
提案するループ内予測モジュールは、エンドツーエンドのビデオ圧縮の一部であり、フレームワーク全体で共同最適化されている。
PフレームとBフレームをそれぞれ圧縮するリカレントおよび双方向のループ内予測モジュールを提案する。
本実験は,学習ビデオ圧縮におけるALVC手法の最先端性能を示す。
また、PSNRの観点からは、デフォルトの階層Bモードx265より優れており、MS-SSIM上でのSSIMチューニングx265の最も遅いモードよりも優れている。
プロジェクトページ:https://github.com/RenYang-home/ALVC。
関連論文リスト
- UCVC: A Unified Contextual Video Compression Framework with Joint
P-frame and B-frame Coding [29.44234507064189]
本稿では,第6回学習画像圧縮チャレンジ(CLIC)のビデオ圧縮トラックに対する学習ビデオ圧縮手法を提案する。
共同PフレームおよびBフレーム符号化のための統合文脈ビデオ圧縮フレームワーク(UCVC)を提案する。
論文 参考訳（メタデータ） (2024-02-02T10:25:39Z) - IBVC: Interpolation-driven B-frame Video Compression [68.18440522300536]
Bフレームビデオ圧縮は、双方向動作推定と動き補償(MEMC)符号化をミドルフレーム再構成に適用することを目的としている。
従来の学習アプローチでは、しばしば双方向の光フロー推定に依存するニューラルネットワークのPフレームコーデックをBフレームに直接拡張する。
これらの問題に対処するために,IBVC (Interpolation-B-frame Video Compression) という単純な構造を提案する。
論文 参考訳（メタデータ） (2023-09-25T02:45:51Z) - Shortcut-V2V: Compression Framework for Video-to-Video Translation based
on Temporal Redundancy Reduction [32.87579824212654]
Shortcut-V2Vはビデオ間翻訳のための汎用圧縮フレームワークである。
We show that Shourcut-V2V achieves comparable performance than the original video-to- video translation model。
論文 参考訳（メタデータ） (2023-08-15T19:50:38Z) - Predictive Coding For Animation-Based Video Compression [13.161311799049978]
本稿では,画像アニメーションを予測器として用いる予測符号化手法を提案し,実際の対象フレームに対する残差を符号化する。
実験の結果,HEVCビデオ標準に比べて70%以上,VVCに比べて30%以上,有意な上昇を示した。
論文 参考訳（メタデータ） (2023-07-09T14:40:54Z) - You Can Ground Earlier than See: An Effective and Efficient Pipeline for
Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。
それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。
本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
論文 参考訳（メタデータ） (2023-03-14T12:53:27Z) - Compressing Video Calls using Synthetic Talking Heads [43.71577046989023]
本稿では,ヘッドビデオ圧縮のためのエンドツーエンドシステムを提案する。
提案アルゴリズムは,他の音声ヘッドビデオがアニメーションによって生成される間,ピボットフレームを断続的に送信する。
我々は、最先端の顔再現ネットワークを用いて、非ピボットフレームのキーポイントを検出し、それを受信機に送信する。
論文 参考訳（メタデータ） (2022-10-07T16:52:40Z) - Deep Contextual Video Compression [20.301569390401102]
本稿では,予測符号化から条件付き符号化へのパラダイムシフトを実現するための,深い文脈ビデオ圧縮フレームワークを提案する。
提案手法は従来のSOTA(State-of-theart)ディープビデオ圧縮法よりも大幅に優れる。
論文 参考訳（メタデータ） (2021-09-30T12:14:24Z) - Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。
まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。
次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
論文 参考訳（メタデータ） (2020-08-20T20:01:59Z) - Learning for Video Compression with Recurrent Auto-Encoder and Recurrent
Probability Model [164.7489982837475]
本稿では、リカレントオートエンコーダ(RAE)とリカレント確率モデル(RPM)を用いたリカレントラーニングビデオ圧縮(RLVC)手法を提案する。
RAEは、ビデオフレーム間の時間的相関を利用するために、エンコーダとデコーダの両方で繰り返しセルを使用する。
提案手法は,PSNRとMS-SSIMの両方の観点から,最先端の学習ビデオ圧縮性能を実現する。
論文 参考訳（メタデータ） (2020-06-24T08:46:33Z) - M-LVC: Multiple Frames Prediction for Learned Video Compression [111.50760486258993]
低レイテンシシナリオのためのエンドツーエンドの学習ビデオ圧縮方式を提案する。
提案方式では, 移動ベクトル(MV)場を現在のフレームと前のフレームの間で計算する。
実験の結果,提案手法は,低遅延モードにおける既存の学習ビデオ圧縮法よりも優れていた。
論文 参考訳（メタデータ） (2020-04-21T20:42:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。