論文の概要: Sandwiched Video Compression: Efficiently Extending the Reach of
Standard Codecs with Neural Wrappers
- arxiv url: http://arxiv.org/abs/2303.11473v2
- Date: Wed, 5 Jul 2023 20:41:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-07 17:51:37.669751
- Title: Sandwiched Video Compression: Efficiently Extending the Reach of
Standard Codecs with Neural Wrappers
- Title（参考訳）: サンドウィッチビデオ圧縮:ニューラルラッパーで標準コーデックの範囲を効率的に拡張する
- Authors: Berivan Isik, Onur G. Guleryuz, Danhang Tang, Jonathan Taylor, Philip
A. Chou
- Abstract要約: 本稿では,標準的なビデオにニューラルネットワークをラップするビデオ圧縮システムを提案する。
ネットワークは、速度歪み損失関数を最適化するために共同で訓練される。
HEVCと同等品質で30%の改善が見られた。
- 参考スコア（独自算出の注目度）: 11.968545394054816
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose sandwiched video compression -- a video compression system that
wraps neural networks around a standard video codec. The sandwich framework
consists of a neural pre- and post-processor with a standard video codec
between them. The networks are trained jointly to optimize a rate-distortion
loss function with the goal of significantly improving over the standard codec
in various compression scenarios. End-to-end training in this setting requires
a differentiable proxy for the standard video codec, which incorporates
temporal processing with motion compensation, inter/intra mode decisions, and
in-loop filtering. We propose differentiable approximations to key video codec
components and demonstrate that, in addition to providing meaningful
compression improvements over the standard codec, the neural codes of the
sandwich lead to significantly better rate-distortion performance in two
important scenarios.When transporting high-resolution video via low-resolution
HEVC, the sandwich system obtains 6.5 dB improvements over standard HEVC. More
importantly, using the well-known perceptual similarity metric, LPIPS, we
observe 30% improvements in rate at the same quality over HEVC. Last but not
least, we show that pre- and post-processors formed by very
modestly-parameterized, light-weight networks can closely approximate these
results.
- Abstract（参考訳）: 我々は,標準的なビデオコーデックでニューラルネットワークをラップするビデオ圧縮システムであるサンドイッチビデオ圧縮を提案する。
sandwichフレームワークは、ニューラルネットワークのプリプロセッサとポストプロセッサと、それらの間の標準的なビデオコーデックで構成される。
ネットワークは、様々な圧縮シナリオにおいて標準コーデックを大幅に改善することを目的として、レート歪み損失関数を最適化するために共同で訓練される。
この環境でのエンドツーエンドのトレーニングには、動作補償による時間処理、インター/イントラモードの決定、ループ内フィルタリングを含む、標準的なビデオコーデック用の差別化可能なプロキシが必要である。
重要ビデオコーデックコンポーネントに対する微分可能近似を提案し、標準コーデックに対して有意義な圧縮改善を提供するとともに、サンドイッチのニューラルコードは、2つの重要なシナリオにおいて大幅に高いレート歪み性能をもたらすことを示した。
さらに,よく知られた知覚類似度指標LPIPSを用いて,HEVCと同等品質で30%の改善率を観察した。
最後に、低パラメータで軽量なネットワークによって形成されるプリプロセッサとポストプロセッサが、これらの結果を密に近似できることを示す。
関連論文リスト
- High-Efficiency Neural Video Compression via Hierarchical Predictive Learning [27.41398149573729]
強化されたDeep Hierarchical Video Compression(DHVC 2.0)は、優れた圧縮性能と目覚ましい複雑さの効率を導入する。
階層的な予測符号化を使用して、各ビデオフレームをマルチスケール表現に変換する。
トランスミッションフレンドリーなプログレッシブデコーディングをサポートしており、パケットロスの存在下では特にネットワーク化されたビデオアプリケーションに有利である。
論文 参考訳（メタデータ） (2024-10-03T15:40:58Z) - Standard compliant video coding using low complexity, switchable neural wrappers [8.149130379436759]
標準互換性、高性能、低復号化の複雑さを特徴とする新しいフレームワークを提案する。
私たちは、標準的なビデオをラップして、異なる解像度でビデオをエンコードする、共同最適化されたニューラルプリプロセッサとポストプロセッサのセットを使用します。
我々は、異なるアップサンプリング比を処理できる低複雑性のニューラルポストプロセッサアーキテクチャを設計する。
論文 参考訳（メタデータ） (2024-07-10T06:36:45Z) - Prediction and Reference Quality Adaptation for Learned Video Compression [54.58691829087094]
本研究では,空間的およびチャネル的予測品質差の明確な識別を行うために,信頼度に基づく予測品質適応(PQA)モジュールを提案する。
また、参照品質適応(RQA)モジュールと関連する繰り返し学習戦略を提案し、様々な参照品質のための動的空間変化フィルタを提供する。
論文 参考訳（メタデータ） (2024-06-20T09:03:26Z) - Compression-Realized Deep Structural Network for Video Quality Enhancement [78.13020206633524]
本稿では,圧縮ビデオの品質向上の課題に焦点をあてる。
既存の手法のほとんどは、圧縮コーデック内での事前処理を最適に活用するための構造設計を欠いている。
新しいパラダイムは、より意識的な品質向上プロセスのために緊急に必要である。
論文 参考訳（メタデータ） (2024-05-10T09:18:17Z) - Video Compression with Arbitrary Rescaling Network [8.489428003916622]
符号化前のビデオリサイズのためのレート誘導任意再スケーリングネットワーク(RARN)を提案する。
軽量RARN構造は、FHD(1080p)コンテンツをリアルタイム(91 FPS)で処理し、かなりのレート低下を得ることができる。
論文 参考訳（メタデータ） (2023-06-07T07:15:18Z) - Learned Video Compression via Heterogeneous Deformable Compensation
Network [78.72508633457392]
不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。
より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。
実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-11T02:31:31Z) - A Coding Framework and Benchmark towards Low-Bitrate Video Understanding [63.05385140193666]
我々は,従来のコーデックとニューラルネットワーク(NN)の両方を活用する,従来型ニューラル混合符号化フレームワークを提案する。
このフレームワークは、動画の移動効率の良いセマンティック表現を確実に保持することで最適化される。
8つのデータセットに3つのダウンストリームタスクを備えた低ビットレートビデオ理解ベンチマークを構築し、このアプローチの顕著な優位性を実証した。
論文 参考訳（メタデータ） (2022-02-06T16:29:15Z) - Leveraging Bitstream Metadata for Fast, Accurate, Generalized Compressed
Video Quality Enhancement [74.1052624663082]
圧縮ビデオの細部を復元する深層学習アーキテクチャを開発した。
これにより,従来の圧縮補正法と比較して復元精度が向上することを示す。
我々は、ビットストリームで容易に利用できる量子化データに対して、我々のモデルを条件付けする。
論文 参考訳（メタデータ） (2022-01-31T18:56:04Z) - Learning to Compress Videos without Computing Motion [39.46212197928986]
動き推定を必要としない新しいディープラーニングビデオ圧縮アーキテクチャを提案する。
本フレームワークでは,映像のフレーム差分を映像表現として利用することにより,映像の動きに固有の規則性を利用する。
実験の結果,Motionless VIdeo Codec (MOVI-Codec) と呼ばれる圧縮モデルは,動きを計算せずに効率的に動画を圧縮する方法を学習することがわかった。
論文 参考訳（メタデータ） (2020-09-29T15:49:25Z) - Variable Rate Video Compression using a Hybrid Recurrent Convolutional
Learning Framework [1.9290392443571382]
本稿では,予測自動符号化の概念に基づくハイブリッドビデオ圧縮フレームワークであるPredEncoderを提案する。
可変レートブロック符号化方式が論文で提案され,ビットレート比が著しく向上した。
論文 参考訳（メタデータ） (2020-04-08T20:49:25Z) - Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。
本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。
従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
論文 参考訳（メタデータ） (2020-03-25T09:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。