論文の概要: How to Exploit the Transferability of Learned Image Compression to
Conventional Codecs
- arxiv url: http://arxiv.org/abs/2012.01874v2
- Date: Sun, 7 Mar 2021 03:44:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-23 14:44:20.412591
- Title: How to Exploit the Transferability of Learned Image Compression to
Conventional Codecs
- Title(参考訳): 学習画像圧縮の従来型コーデックへの転送可能性の活用法
- Authors: Jan P. Klopp, Keng-Chi Liu, Liang-Gee Chen, Shao-Yi Chien
- Abstract要約: 本稿では,学習した画像の符号化をサロゲートとして利用して,画像の符号化を最適化する方法を示す。
提案手法は,MS-SSIM歪みをデコードオーバーヘッドを伴わずに20%以上の速度改善で補正するために,従来の画像を再構成することができる。
- 参考スコア(独自算出の注目度): 25.622863999901874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Lossy image compression is often limited by the simplicity of the chosen loss
measure. Recent research suggests that generative adversarial networks have the
ability to overcome this limitation and serve as a multi-modal loss, especially
for textures. Together with learned image compression, these two techniques can
be used to great effect when relaxing the commonly employed tight measures of
distortion. However, convolutional neural network based algorithms have a large
computational footprint. Ideally, an existing conventional codec should stay in
place, which would ensure faster adoption and adhering to a balanced
computational envelope.
As a possible avenue to this goal, in this work, we propose and investigate
how learned image coding can be used as a surrogate to optimize an image for
encoding. The image is altered by a learned filter to optimise for a different
performance measure or a particular task. Extending this idea with a generative
adversarial network, we show how entire textures are replaced by ones that are
less costly to encode but preserve sense of detail.
Our approach can remodel a conventional codec to adjust for the MS-SSIM
distortion with over 20% rate improvement without any decoding overhead. On
task-aware image compression, we perform favourably against a similar but
codec-specific approach.
- Abstract(参考訳): 損失画像圧縮は、選択された損失測度の単純さによってしばしば制限される。
近年の研究では、生成的敵ネットワークは、この制限を克服し、特にテクスチャにおいてマルチモーダル損失として機能する能力を持っていることが示唆されている。
学習した画像圧縮とともに、この2つのテクニックは、一般的に使われる歪みの厳密な尺度を緩和する際に大きな効果を発揮する。
しかし、畳み込みニューラルネットワークに基づくアルゴリズムは計算フットプリントが大きい。
理想的には、既存のコーデックはそのままであり、より高速な採用とバランスの取れた計算エンベロープへの付着を保証する。
本研究は,この目標への道筋として,学習した画像の符号化を代用して,画像の符号化を最適化する手法を提案する。
画像は学習したフィルタによって変更され、異なるパフォーマンス指標や特定のタスクに最適化される。
このアイデアを生成的敵ネットワークで拡張すると、テクスチャ全体がエンコードするコストが低く、詳細さを保っているものに置き換えられることを示す。
提案手法は,従来のコーデックを改造して,デコードオーバーヘッドを必要とせず,20%以上のレート改善でms-ssim歪みを調整できる。
タスク認識画像圧縮では、類似するがコーデック特有のアプローチに対して好適に実行する。
関連論文リスト
- Exploiting Inter-Image Similarity Prior for Low-Bitrate Remote Sensing Image Compression [10.427300958330816]
生成された離散コードブックを用いたコードブックベースのRS画像圧縮(Code-RSIC)手法を提案する。
このコードは、知覚品質の観点から、最先端の伝統と学習に基づく画像圧縮アルゴリズムを著しく上回っている。
論文 参考訳(メタデータ) (2024-07-17T03:33:16Z) - MISC: Ultra-low Bitrate Image Semantic Compression Driven by Large Multimodal Model [78.4051835615796]
本稿では,マルチモーダル画像セマンティック圧縮法を提案する。
画像の意味情報を抽出するLMMエンコーダと、その意味に対応する領域を特定するマップエンコーダと、非常に圧縮されたビットストリームを生成する画像エンコーダと、前記情報に基づいて画像を再構成するデコーダとからなる。
知覚50%を節約しながら最適な一貫性と知覚結果を達成することができ、これは次世代のストレージと通信において強力な可能性を持つ。
論文 参考訳(メタデータ) (2024-02-26T17:11:11Z) - Perceptual Image Compression with Cooperative Cross-Modal Side
Information [53.356714177243745]
本稿では,テキスト誘導側情報を用いた新しい深層画像圧縮手法を提案する。
具体的には,CLIPテキストエンコーダとSemantic-Spatial Awareブロックを用いてテキストと画像の特徴を融合する。
論文 参考訳(メタデータ) (2023-11-23T08:31:11Z) - You Can Mask More For Extremely Low-Bitrate Image Compression [80.7692466922499]
近年,学習画像圧縮(lic)法は大きな進歩を遂げている。
licメソッドは、画像圧縮に不可欠な画像構造とテクスチャコンポーネントを明示的に探索することができない。
原画像の構造とテクスチャに基づいて可視パッチをサンプリングするDA-Maskを提案する。
極めて低ビットレート圧縮のために, lic と lic のエンドツーエンドを統一する最初のフレームワークである, 単純で効果的なマスク付き圧縮モデル (MCM) を提案する。
論文 参考訳(メタデータ) (2023-06-27T15:36:22Z) - Computationally-Efficient Neural Image Compression with Shallow Decoders [43.115831685920114]
本稿では,JPEGに類似した浅い,あるいは線形な復号変換を用いることで,復号化複雑性のギャップを解消する。
我々は、より強力なエンコーダネットワークと反復符号化を採用することにより、符号化と復号の間のしばしば非対称な予算を利用する。
論文 参考訳(メタデータ) (2023-04-13T03:38:56Z) - Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image
Compression [85.93207826513192]
本稿では、損失のない画像圧縮とほぼロスレス画像圧縮の両面において、統合された強力な深い損失+残差(DLPR)符号化フレームワークを提案する。
VAEのアプローチにおける連立損失と残留圧縮の問題を解く。
ほぼロスレスモードでは、元の残差を量子化し、与えられた$ell_infty$エラー境界を満たす。
論文 参考訳(メタデータ) (2022-09-11T12:11:56Z) - Preprocessing Enhanced Image Compression for Machine Vision [14.895698385236937]
本稿では,マシンビジョンタスクのための前処理による画像圧縮手法を提案する。
私たちのフレームワークは従来の非微分コーデックの上に構築されています。
実験の結果,提案手法は,約20%の節約により,ダウンストリームマシンビジョンタスクのコーディングと性能のトレードオフを向上することが示された。
論文 参考訳(メタデータ) (2022-06-12T03:36:38Z) - The Devil Is in the Details: Window-based Attention for Image
Compression [58.1577742463617]
既存の学習画像圧縮モデルは畳み込みニューラルネットワーク(CNN)に基づいている。
本稿では,複数種類の注意機構が局所特徴学習に与える影響について検討し,より単純で効果的なウィンドウベースの局所的注意ブロックを提案する。
提案されたウィンドウベースのアテンションは非常に柔軟で、CNNとTransformerモデルを強化するためのプラグイン・アンド・プレイコンポーネントとして機能する可能性がある。
論文 参考訳(メタデータ) (2022-03-16T07:55:49Z) - Implicit Neural Representations for Image Compression [103.78615661013623]
Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。
量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。
我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
論文 参考訳(メタデータ) (2021-12-08T13:02:53Z) - Enhanced Invertible Encoding for Learned Image Compression [40.21904131503064]
本稿では,改良されたインバーチブルを提案する。
非可逆ニューラルネットワーク(INN)によるネットワークは、情報損失問題を大幅に軽減し、圧縮性を向上する。
Kodak, CLIC, Tecnick のデータセットによる実験結果から,本手法は既存の学習画像圧縮法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2021-08-08T17:32:10Z) - Lossy Image Compression with Normalizing Flows [19.817005399746467]
ディープ・イメージ・圧縮のための最先端のソリューションは、通常、入力を低次元の潜在空間にマッピングするオートエンコーダを用いる。
対照的に、画像圧縮における従来のアプローチは、より幅広い品質レベルを実現する。
論文 参考訳(メタデータ) (2020-08-24T14:46:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。