論文の概要: Once-for-All: Controllable Generative Image Compression with Dynamic Granularity Adaption

• arxiv url: http://arxiv.org/abs/2406.00758v1
• Date: Sun, 2 Jun 2024 14:22:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 03:36:42.519221
• Title: Once-for-All: Controllable Generative Image Compression with Dynamic Granularity Adaption
• Title（参考訳）: once-for-all:動的粒度適応による制御可能な生成画像圧縮
• Authors: Anqi Li, Yuxi Liu, Huihui Bai, Feng Li, Runmin Cong, Meng Wang, Yao Zhao,
• Abstract要約: 本稿では,制御可能な生成画像圧縮フレームワークである制御-GICを提案する。 高忠実度および一般性圧縮を確保しつつ、広帯域での微粒化適応を可能にする。 我々は、歴史的符号化された多粒度表現に遡ることができる条件条件付き条件付けを開発する。
• 参考スコア（独自算出の注目度）: 57.056311855630916
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Although recent generative image compression methods have demonstrated impressive potential in optimizing the rate-distortion-perception trade-off, they still face the critical challenge of flexible rate adaption to diverse compression necessities and scenarios. To overcome this challenge, this paper proposes a Controllable Generative Image Compression framework, Control-GIC, the first capable of fine-grained bitrate adaption across a broad spectrum while ensuring high-fidelity and generality compression. We base Control-GIC on a VQGAN framework representing an image as a sequence of variable-length codes (i.e. VQ-indices), which can be losslessly compressed and exhibits a direct positive correlation with the bitrates. Therefore, drawing inspiration from the classical coding principle, we naturally correlate the information density of local image patches with their granular representations, to achieve dynamic adjustment of the code quantity following different granularity decisions. This implies we can flexibly determine a proper allocation of granularity for the patches to acquire desirable compression rates. We further develop a probabilistic conditional decoder that can trace back to historic encoded multi-granularity representations according to transmitted codes, and then reconstruct hierarchical granular features in the formalization of conditional probability, enabling more informative aggregation to improve reconstruction realism. Our experiments show that Control-GIC allows highly flexible and controllable bitrate adaption and even once compression on an entire dataset to fulfill constrained bitrate conditions. Experimental results demonstrate its superior performance over recent state-of-the-art methods.
• Abstract（参考訳）: 最近の生成画像圧縮法は、速度歪みと知覚のトレードオフを最適化する驚くべき可能性を示しているが、様々な圧縮ニーズやシナリオに対するフレキシブルな速度適応という重要な課題に直面している。 この課題を克服するために,制御可能生成画像圧縮フレームワークであるコントロール-GICを提案する。 制御-GICは、画像を表すVQGANフレームワークを可変長符号の列(つまりVQ-インデックス)としてベースとしており、損失のない圧縮が可能であり、ビットレートと直接正の相関を示す。 そこで,従来の符号化原理からインスピレーションを得て,局所的な画像パッチの情報密度と粒度表現を自然に相関させ,粒度決定の後にコード量を動的に調整する。 これは、望ましい圧縮率を得るためにパッチの粒度の適切な割り当てを柔軟に決定できることを意味している。 さらに、送信された符号に従って歴史的符号化された多粒度表現に遡る確率的条件デコーダを開発し、さらに、条件確率の形式化において階層的な粒度の特徴を再構築し、より情報的な集約により、再構成リアリズムを改善する。 実験により、制御-GICは、高い柔軟性と制御可能なビットレート適応を可能にし、データセット全体の圧縮が制約されたビットレート条件を満たすことを実証した。 近年の最先端手法よりも優れた性能を示す実験結果が得られた。

関連論文リスト

• Rate-Distortion-Cognition Controllable Versatile Neural Image Compression [47.72668401825835]
  速度歪み認識制御可能な多目的画像圧縮法を提案する。 本手法は, 良好なICM性能とフレキシブルレート・ディストーション・コグニテーション制御を実現する。
  論文  参考訳（メタデータ） (2024-07-16T13:17:51Z)
• Unifying Generation and Compression: Ultra-low bitrate Image Coding Via Multi-stage Transformer [35.500720262253054]
  本稿では,新しい画像生成圧縮(UIGC)パラダイムを導入し,生成と圧縮のプロセスを統合する。 UIGCフレームワークの重要な特徴は、トークン化にベクトル量子化(VQ)イメージモデルを採用することである。 実験では、既存のコーデックよりも知覚品質と人間の知覚において、提案されたUIGCフレームワークが優れていることを示した。
  論文  参考訳（メタデータ） (2024-03-06T14:27:02Z)
• Semantic Ensemble Loss and Latent Refinement for High-Fidelity Neural Image Compression [62.888755394395716]
  本研究は、最適な視覚的忠実度のために設計された強化されたニューラル圧縮手法を提案する。 我々は,洗練されたセマンティック・アンサンブル・ロス,シャルボニエ・ロス,知覚的損失,スタイル・ロス,非バイナリ・ディバイザ・ロスを組み込んだモデルを構築した。 実験により,本手法は神経画像圧縮の統計的忠実度を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-25T08:11:27Z)
• Extreme Image Compression using Fine-tuned VQGANs [43.43014096929809]
  本稿ではベクトル量子化(VQ)に基づく生成モデルを画像圧縮領域に導入する。 VQGANモデルによって学習されたコードブックは、強い表現能力をもたらす。 提案したフレームワークは、知覚的品質指向のメトリクスで最先端のコーデックより優れている。
  論文  参考訳（メタデータ） (2023-07-17T06:14:19Z)
• Joint Hierarchical Priors and Adaptive Spatial Resolution for Efficient Neural Image Compression [11.25130799452367]
  ニューラル画像圧縮(NIC)のための絶対画像圧縮変換器(ICT)を提案する。 ICTは、潜在表現からグローバルコンテキストとローカルコンテキストの両方をキャプチャし、量子化された潜在表現の分布をパラメータ化する。 我々のフレームワークは、多目的ビデオ符号化(VVC)参照符号化(VTM-18.0)とニューラルスウィンT-ChARMに対する符号化効率とデコーダ複雑性のトレードオフを大幅に改善する。
  論文  参考訳（メタデータ） (2023-07-05T13:17:14Z)
• High-Fidelity Variable-Rate Image Compression via Invertible Activation Transformation [24.379052026260034]
  Invertible Activation Transformation (IAT) モジュールを提案する。 IATとQLevelは、画像圧縮モデルに、画像の忠実さを良く保ちながら、細かな可変レート制御能力を与える。 提案手法は,特に複数再符号化後に,最先端の可変レート画像圧縮法よりも大きなマージンで性能を向上する。
  論文  参考訳（メタデータ） (2022-09-12T07:14:07Z)
• Learned Video Compression via Heterogeneous Deformable Compensation Network [78.72508633457392]
  不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。 より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。 実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-11T02:31:31Z)
• Neural JPEG: End-to-End Image Compression Leveraging a Standard JPEG Encoder-Decoder [73.48927855855219]
  本稿では,エンコーダとデコーダの両端に内在するニューラル表現を強化することで,符号化性能の向上を図るシステムを提案する。 実験により,提案手法はJPEGに対する速度歪み性能を,様々な品質指標で改善することを示した。
  論文  参考訳（メタデータ） (2022-01-27T20:20:03Z)
• Modeling Lost Information in Lossy Image Compression [72.69327382643549]
  ロスシー画像圧縮は、デジタル画像の最もよく使われる演算子の1つである。 Invertible Lossy Compression (ILC) と呼ばれる新しい非可逆的フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-22T04:04:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。