論文の概要: Group-aware Parameter-efficient Updating for Content-Adaptive Neural Video Compression
- arxiv url: http://arxiv.org/abs/2405.04274v2
- Date: Wed, 4 Sep 2024 05:24:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-07 03:12:50.059216
- Title: Group-aware Parameter-efficient Updating for Content-Adaptive Neural Video Compression
- Title（参考訳）: コンテンツ適応型ニューラルビデオ圧縮のためのグループ認識パラメータ効率向上
- Authors: Zhenghao Chen, Luping Zhou, Zhihao Hu, Dong Xu,
- Abstract要約: ビデオ圧縮は時間的冗長性に大きく依存する。
NVCフレームワークは一般的により複雑で、多くの大きなコンポーネントはエンコーディング時に簡単に更新できない。
符号化プロセスの各符号化コンポーネントに、複数の軽量アダプタを統合することで実現されるパラメータ効率のデルタチューニング戦略を導入する。
- 参考スコア（独自算出の注目度）: 42.92442233544842
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Content-adaptive compression is crucial for enhancing the adaptability of the pre-trained neural codec for various contents. Although these methods have been very practical in neural image compression (NIC), their application in neural video compression (NVC) is still limited due to two main aspects: 1), video compression relies heavily on temporal redundancy, therefore updating just one or a few frames can lead to significant errors accumulating over time; 2), NVC frameworks are generally more complex, with many large components that are not easy to update quickly during encoding. To address the previously mentioned challenges, we have developed a content-adaptive NVC technique called Group-aware Parameter-Efficient Updating (GPU). Initially, to minimize error accumulation, we adopt a group-aware approach for updating encoder parameters. This involves adopting a patch-based Group of Pictures (GoP) training strategy to segment a video into patch-based GoPs, which will be updated to facilitate a globally optimized domain-transferable solution. Subsequently, we introduce a parameter-efficient delta-tuning strategy, which is achieved by integrating several light-weight adapters into each coding component of the encoding process by both serial and parallel configuration. Such architecture-agnostic modules stimulate the components with large parameters, thereby reducing both the update cost and the encoding time. We incorporate our GPU into the latest NVC framework and conduct comprehensive experiments, whose results showcase outstanding video compression efficiency across four video benchmarks and adaptability of one medical image benchmark.
- Abstract（参考訳）: コンテンツ適応圧縮は、各種コンテンツに対する事前学習されたニューラルコーデックの適応性を高めるために重要である。
これらの手法は、ニューラル画像圧縮(NIC)において非常に実用的だが、そのニューラルビデオ圧縮(NVC)への応用は、1)ビデオ圧縮は時間的冗長性に大きく依存しているため、時間とともに蓄積される重大なエラーを1つか数フレームだけ更新することができる。
以上の課題に対処するため,我々は,GPU (Group-aware Parameter-Efficient Updating) と呼ばれるコンテンツ適応型NVC技術を開発した。
当初、エラーの蓄積を最小限に抑えるために、エンコーダパラメータを更新するためのグループ対応アプローチを採用しました。
これには、パッチベースのグループ・オブ・ピクチャーズ(GoP)トレーニング戦略を採用して、ビデオをパッチベースのGoPに分割する。
次に,複数の軽量アダプタをシリアル構成と並列構成の両方で符号化プロセスの各符号化コンポーネントに統合し,パラメータ効率の高いデルタチューニング戦略を提案する。
このようなアーキテクチャに依存しないモジュールは、大きなパラメータでコンポーネントを刺激し、更新コストとエンコーディング時間の両方を削減する。
我々は最新のNVCフレームワークにGPUを組み込んで総合的な実験を行い、4つのビデオベンチマークで優れた圧縮効率と1つの医用画像ベンチマークの適応性を示した。
関連論文リスト
- Accelerating Learned Video Compression via Low-Resolution Representation Learning [18.399027308582596]
低解像度表現学習に焦点を当てた学習ビデオ圧縮のための効率最適化フレームワークを提案する。
提案手法は,H.266参照ソフトウェアVTMの低遅延P構成と同等の性能を実現する。
論文 参考訳（メタデータ） (2024-07-23T12:02:57Z) - Standard compliant video coding using low complexity, switchable neural wrappers [8.149130379436759]
標準互換性、高性能、低復号化の複雑さを特徴とする新しいフレームワークを提案する。
私たちは、標準的なビデオをラップして、異なる解像度でビデオをエンコードする、共同最適化されたニューラルプリプロセッサとポストプロセッサのセットを使用します。
我々は、異なるアップサンプリング比を処理できる低複雑性のニューラルポストプロセッサアーキテクチャを設計する。
論文 参考訳（メタデータ） (2024-07-10T06:36:45Z) - VNVC: A Versatile Neural Video Coding Framework for Efficient
Human-Machine Vision [59.632286735304156]
コード化された表現をピクセルに復号することなく直接拡張・解析することがより効率的である。
再構成と直接拡張/分析の両方をサポートするために,コンパクト表現の学習を目標とする汎用型ニューラルビデオ符号化(VNVC)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-19T03:04:57Z) - NIRVANA: Neural Implicit Representations of Videos with Adaptive
Networks and Autoregressive Patch-wise Modeling [37.51397331485574]
Inlicit Neural Representations (INR)は、最近、高品質なビデオ圧縮のための強力なツールであることが示されている。
これらの手法は、より長いビデオや高解像度にスケールしない固定されたアーキテクチャを持つ。
我々は,動画をフレーム群として扱うNIRVANAを提案し,パッチワイズ予測を行うグループ毎に個別のネットワークを適合させる。
論文 参考訳（メタデータ） (2022-12-30T08:17:02Z) - Learned Video Compression via Heterogeneous Deformable Compensation
Network [78.72508633457392]
不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。
より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。
実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-11T02:31:31Z) - Perceptual Coding for Compressed Video Understanding: A New Framework
and Benchmark [57.23523738351178]
本稿では,ビデオ理解のための最初のプログラミングフレームワークを提案する。このフレームワークでは,別の学習可能な知覚ビットストリームを導入し,同時にビデオビットストリームを転送する。
このフレームワークは,(1)産業用ビデオの高能率コンテンツ符号化,(2)ニューラルネットワーク(NN)のフレキシブルパーセプチュアル符号化,という2つの世界の長所を享受することができる。
論文 参考訳（メタデータ） (2022-02-06T16:29:15Z) - Deep Video Coding with Dual-Path Generative Adversarial Network [39.19042551896408]
本稿では,DGVC(Double-path Generative Adversarial Network-based Video)という,効率的なコーデックを提案する。
我々のDGVCは、PSNR/MS-SSIMで平均ビット/ピクセル(bpp)を39.39%/54.92%削減する。
論文 参考訳（メタデータ） (2021-11-29T11:39:28Z) - Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。
まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。
次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
論文 参考訳（メタデータ） (2020-08-20T20:01:59Z) - Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。
本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。
従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
論文 参考訳（メタデータ） (2020-03-25T09:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。