論文の概要: Accelerating Learnt Video Codecs with Gradient Decay and Layer-wise Distillation

• arxiv url: http://arxiv.org/abs/2312.02605v1
• Date: Tue, 5 Dec 2023 09:26:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 16:17:10.639248
• Title: Accelerating Learnt Video Codecs with Gradient Decay and Layer-wise Distillation
• Title（参考訳）: 勾配減衰と層別蒸留を伴う学習ビデオコーデックの高速化
• Authors: Tianhao Peng, Ge Gao, Heming Sun, Fan Zhang and David Bull
• Abstract要約: 本稿では, 勾配減衰と適応層ワイド蒸留に基づく新しいモデル非依存プルーニング手法を提案する。 その結果,BD-PSNRでは最大65%のMACと2倍のスピードアップ,0.3dB未満のBD-PSNRが得られた。
• 参考スコア（独自算出の注目度）: 17.980800481385195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, end-to-end learnt video codecs have demonstrated their potential to compete with conventional coding algorithms in term of compression efficiency. However, most learning-based video compression models are associated with high computational complexity and latency, in particular at the decoder side, which limits their deployment in practical applications. In this paper, we present a novel model-agnostic pruning scheme based on gradient decay and adaptive layer-wise distillation. Gradient decay enhances parameter exploration during sparsification whilst preventing runaway sparsity and is superior to the standard Straight-Through Estimation. The adaptive layer-wise distillation regulates the sparse training in various stages based on the distortion of intermediate features. This stage-wise design efficiently updates parameters with minimal computational overhead. The proposed approach has been applied to three popular end-to-end learnt video codecs, FVC, DCVC, and DCVC-HEM. Results confirm that our method yields up to 65% reduction in MACs and 2x speed-up with less than 0.3dB drop in BD-PSNR. Supporting code and supplementary material can be downloaded from: https://jasminepp.github.io/lightweightdvc/
• Abstract（参考訳）: 近年、エンドツーエンドの学習ビデオコーデックは、圧縮効率の観点から従来の符号化アルゴリズムと競合する可能性を示している。 しかし、ほとんどの学習ベースのビデオ圧縮モデルは高い計算複雑性とレイテンシ、特にデコーダ側で関連するため、実際のアプリケーションへのデプロイが制限される。 本稿では,勾配減衰と適応層蒸留に基づく新しいモデル非依存プルーニングスキームを提案する。 勾配減衰はスパルシフィケーション中のパラメータ探索を増強し、暴走スパーシティを防止し、標準的なストレートスルー推定よりも優れている。 適応層ワイド蒸留は, 中間特性の歪みに基づいて, 種々の段階におけるスパース訓練を規制する。 この段階的な設計は、最小の計算オーバーヘッドでパラメータを効率的に更新する。 提案手法は,学習ビデオコーデック,FVC,DCVC,DCVC-HEMの3つに応用されている。 その結果,BD-PSNRでは最大65%のMACと2倍のスピードアップ,0.3dB未満のBD-PSNRが得られた。 コードと補足資料のサポートは、https://jasminepp.github.io/lightweightdvc/からダウンロードできる。

関連論文リスト

• Accelerating Learned Video Compression via Low-Resolution Representation Learning [18.399027308582596]
  低解像度表現学習に焦点を当てた学習ビデオ圧縮のための効率最適化フレームワークを提案する。 提案手法は,H.266参照ソフトウェアVTMの低遅延P構成と同等の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-23T12:02:57Z)
• LoCo: Low-Bit Communication Adaptor for Large-scale Model Training [63.040522637816906]
  低ビット通信は、しばしば圧縮情報損失によってトレーニング品質が低下する。 本稿では,ローカルGPUノードを補償するLoCo(Lo-bit Communication Adaptor)を提案する。 実験結果から,Megatron-LMやPyTorchs FSDPといった大規模トレーニングモデルフレームワークの移動により,LoCoは圧縮通信効率を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-05T13:01:36Z)
• Latent-Shift: Gradient of Entropy Helps Neural Codecs [4.449835214520727]
  エントロピーの勾配は再建誤差の勾配と相関していることを示す。 実験により, この勾配は様々な圧縮法で利用でき, 1-2%の節約率が得られることを示した。
  論文  参考訳（メタデータ） (2023-08-01T15:12:36Z)
• Low-complexity Deep Video Compression with A Distributed Coding Architecture [4.5885672744218]
  一般的な予測符号化に基づくビデオ圧縮手法は、時間的冗長性を低減するために重エンコーダに依存している。 従来の分散コーディング手法は、予測的コーディングとはかなりのパフォーマンスギャップに悩まされている。 本稿では,レート歪み特性を改善するために,最初のエンドツーエンドの分散ビデオ圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-21T05:34:04Z)
• Differentiable bit-rate estimation for neural-based video codec enhancement [2.592974861902384]
  ニューラルネットワーク(NN)は、符号化されたビデオの前処理と後処理によって、標準的なビデオ圧縮を改善することができる。 NNトレーニングを最適にするためには、標準的なプロキシを、推定ビットレートと歪みのデリバティブを提供するプロキシに置き換える必要がある。 本稿では、エンド・ツー・エンドのニューラルコーデックのトレーニングで使用されるタイプに類似したビットレート推定のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-01-24T01:36:07Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• Neural JPEG: End-to-End Image Compression Leveraging a Standard JPEG Encoder-Decoder [73.48927855855219]
  本稿では,エンコーダとデコーダの両端に内在するニューラル表現を強化することで,符号化性能の向上を図るシステムを提案する。 実験により,提案手法はJPEGに対する速度歪み性能を,様々な品質指標で改善することを示した。
  論文  参考訳（メタデータ） (2022-01-27T20:20:03Z)
• Perceptual Learned Video Compression with Recurrent Conditional GAN [158.0726042755]
  本稿では, PVC (Perceptual Learned Video Compression) アプローチを提案する。 PLVCは低ビットレートで映像を知覚品質に圧縮することを学ぶ。 ユーザスタディでは、最新の学習ビデオ圧縮手法と比較して、PLVCの優れた知覚性能をさらに検証している。
  論文  参考訳（メタデータ） (2021-09-07T13:36:57Z)
• Low-Fidelity End-to-End Video Encoder Pre-training for Temporal Action Localization [96.73647162960842]
  TALはビデオ理解の基本的な課題だが、難しい課題だ。 既存のtalメソッドは、アクション分類の監督を通じてビデオエンコーダを事前トレーニングする。 本稿では,ローファイダリティ・エンド・ツー・エンド(LoFi)ビデオエンコーダの事前学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-28T22:18:14Z)
• Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
  本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。 本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。 従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
  論文  参考訳（メタデータ） (2020-03-25T09:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。