論文の概要: End-to-End Rate-Distortion Optimized Learned Hierarchical Bi-Directional
Video Compression
- arxiv url: http://arxiv.org/abs/2112.09529v1
- Date: Fri, 17 Dec 2021 14:30:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-20 15:50:05.591587
- Title: End-to-End Rate-Distortion Optimized Learned Hierarchical Bi-Directional
Video Compression
- Title（参考訳）: 階層的双方向ビデオ圧縮を学習したエンドツーエンド速度歪みの最適化
- Authors: M.Ak{\i}n Y{\i}lmaz, A.Murat Tekalp
- Abstract要約: 学習VCは、非線形変換、運動、エントロピーモデルのエンドツーエンドの速度歪み(R-D)最適化トレーニングを同時に行うことができる。
本稿では,階層型モーションサンプリングとエンドツーエンド最適化の利点を組み合わせた,学習型階層型双方向ビデオ(LHBDC)を提案する。
- 参考スコア（独自算出の注目度）: 10.885590093103344
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional video compression (VC) methods are based on motion compensated
transform coding, and the steps of motion estimation, mode and quantization
parameter selection, and entropy coding are optimized individually due to the
combinatorial nature of the end-to-end optimization problem. Learned VC allows
end-to-end rate-distortion (R-D) optimized training of nonlinear transform,
motion and entropy model simultaneously. Most works on learned VC consider
end-to-end optimization of a sequential video codec based on R-D loss averaged
over pairs of successive frames. It is well-known in conventional VC that
hierarchical, bi-directional coding outperforms sequential compression because
of its ability to use both past and future reference frames. This paper
proposes a learned hierarchical bi-directional video codec (LHBDC) that
combines the benefits of hierarchical motion-compensated prediction and
end-to-end optimization. Experimental results show that we achieve the best R-D
results that are reported for learned VC schemes to date in both PSNR and
MS-SSIM. Compared to conventional video codecs, the R-D performance of our
end-to-end optimized codec outperforms those of both x265 and SVT-HEVC encoders
("veryslow" preset) in PSNR and MS-SSIM as well as HM 16.23 reference software
in MS-SSIM. We present ablation studies showing performance gains due to
proposed novel tools such as learned masking, flow-field subsampling, and
temporal flow vector prediction. The models and instructions to reproduce our
results can be found in https://github.com/makinyilmaz/LHBDC/
- Abstract（参考訳）: 従来のビデオ圧縮(vc)法は、動き補償変換符号化に基づいており、エンドツーエンド最適化問題の組合せ性により、動き推定、モード及び量子化パラメータ選択、エントロピー符号化のステップを個別に最適化する。
学習VCは、非線形変換、運動、エントロピーモデルのエンドツーエンドの速度歪み(R-D)最適化トレーニングを同時に行うことができる。
学習VCにおけるほとんどの研究は、連続したフレームのペアの平均的なR-D損失に基づいて、シーケンシャルなビデオコーデックのエンドツーエンドの最適化を考える。
従来のvcでは、階層的で双方向のコーディングが、過去と将来の参照フレームの両方を使用できるため、シーケンシャルな圧縮よりも優れています。
本稿では,階層型動き補償予測とエンドツーエンド最適化の利点を組み合わせた,階層型双方向ビデオコーデック(LHBDC)を提案する。
実験の結果,PSNR と MS-SSIM のいずれにおいても,これまでに学習VC スキームで報告された最良の R-D 結果が得られた。
従来のビデオコーデックと比較すると,PSNR と MS-SSIM の x265 および SVT-HEVC エンコーダ ("非常に遅い" プリセット) および MS-SSIM の HM 16.23 参照ソフトウェアでは,エンドツーエンド最適化コーデックの R-D 性能が優れている。
本稿では,学習マスキング,フローフィールドサブサンプリング,時間的流れベクトル予測などの新しいツールによる性能向上を示すアブレーション研究を行う。
結果はhttps://github.com/makinyilmaz/lhbdc/で再現できます。
関連論文リスト
- High-Efficiency Neural Video Compression via Hierarchical Predictive Learning [27.41398149573729]
強化されたDeep Hierarchical Video Compression(DHVC 2.0)は、優れた圧縮性能と目覚ましい複雑さの効率を導入する。
階層的な予測符号化を使用して、各ビデオフレームをマルチスケール表現に変換する。
トランスミッションフレンドリーなプログレッシブデコーディングをサポートしており、パケットロスの存在下では特にネットワーク化されたビデオアプリケーションに有利である。
論文 参考訳（メタデータ） (2024-10-03T15:40:58Z) - Learned Video Compression via Heterogeneous Deformable Compensation
Network [78.72508633457392]
不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。
より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。
実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-11T02:31:31Z) - Efficient VVC Intra Prediction Based on Deep Feature Fusion and
Probability Estimation [57.66773945887832]
本稿では,フレーム内予測におけるVersatile Video Coding (VVC) の複雑性を,深層融合と確率推定の2段階のフレームワークを用いて最適化することを提案する。
特に高精細度(HD)および超高精細度(UHD)ビデオシーケンスにおいて,提案手法の優位性を示す実験結果が得られた。
論文 参考訳（メタデータ） (2022-05-07T08:01:32Z) - Neural Data-Dependent Transform for Learned Image Compression [72.86505042102155]
ニューラルデータに依存した変換を構築し,各画像の符号化効率を最適化する連続オンラインモード決定機構を導入する。
実験の結果,提案したニューラルシンタクス設計と連続オンラインモード決定機構の有効性が示された。
論文 参考訳（メタデータ） (2022-03-09T14:56:48Z) - A Coding Framework and Benchmark towards Low-Bitrate Video Understanding [63.05385140193666]
我々は,従来のコーデックとニューラルネットワーク(NN)の両方を活用する,従来型ニューラル混合符号化フレームワークを提案する。
このフレームワークは、動画の移動効率の良いセマンティック表現を確実に保持することで最適化される。
8つのデータセットに3つのダウンストリームタスクを備えた低ビットレートビデオ理解ベンチマークを構築し、このアプローチの顕著な優位性を実証した。
論文 参考訳（メタデータ） (2022-02-06T16:29:15Z) - End-to-end Neural Video Coding Using a Compound Spatiotemporal
Representation [33.54844063875569]
本稿では,2つの手法により生成された予測を適応的に組み合わせたハイブリッド動作補償法を提案する。
具体的には、リカレント情報集約(RIA)モジュールを用いて、複合時間表現(STR)を生成する。
さらに、ベクトルベースの再サンプリング、適応カーネルベースの再サンプリング、補償モード選択マップ、テクスチャ拡張を含む、CSTRから複数の予測を生成する1対多デコーダパイプラインを設計する。
論文 参考訳（メタデータ） (2021-08-05T19:43:32Z) - Decomposition, Compression, and Synthesis (DCS)-based Video Coding: A
Neural Exploration via Resolution-Adaptive Learning [30.54722074562783]
入力映像をそれぞれの空間テクスチャフレーム(STF)に分解する。
次に,一般的なビデオコーダを用いて圧縮する。
最後に,デコードされたSTFとTMFをネイティブ入力と同じ解像度で合成し,高品質なビデオ再構成を実現する。
論文 参考訳（メタデータ） (2020-12-01T17:23:53Z) - End-to-End Rate-Distortion Optimization for Bi-Directional Learned Video
Compression [10.404162481860634]
学習されたビデオ圧縮は、すべての非線形モジュールのエンドツーエンドの速度歪みを最適化する訓練を可能にする。
本稿では,画像の固定サイズ群に対するコスト関数の蓄積による階層的,双方向な動きのエンドツーエンド最適化を初めて提案する。
論文 参考訳（メタデータ） (2020-08-11T22:50:06Z) - Neural Video Coding using Multiscale Motion Compensation and
Spatiotemporal Context Model [45.46660511313426]
エンド・ツー・エンドのディープ・ニューラル・ビデオ・コーディング・フレームワーク(NVC)を提案する。
フレーム内画素、フレーム間運動、フレーム間補償残差の相関を利用するために、共同空間および時間的事前集約(PA)を備えた可変オートエンコーダ(VAE)を使用する。
NVCは低遅延因果条件で評価され、H.265/HEVC、H.264/AVC、その他の学習ビデオ圧縮法と比較される。
論文 参考訳（メタデータ） (2020-07-09T06:15:17Z) - M-LVC: Multiple Frames Prediction for Learned Video Compression [111.50760486258993]
低レイテンシシナリオのためのエンドツーエンドの学習ビデオ圧縮方式を提案する。
提案方式では, 移動ベクトル(MV)場を現在のフレームと前のフレームの間で計算する。
実験の結果,提案手法は,低遅延モードにおける既存の学習ビデオ圧縮法よりも優れていた。
論文 参考訳（メタデータ） (2020-04-21T20:42:02Z) - Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。
本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。
従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
論文 参考訳（メタデータ） (2020-03-25T09:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。