論文の概要: An Information-Theoretic Regularizer for Lossy Neural Image Compression
- arxiv url: http://arxiv.org/abs/2411.16727v1
- Date: Sat, 23 Nov 2024 05:19:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-27 13:35:43.811870
- Title: An Information-Theoretic Regularizer for Lossy Neural Image Compression
- Title（参考訳）: ロスシーニューラル画像圧縮のための情報理論正規化器
- Authors: Yingwen Zhang, Meng Wang, Xihua Sheng, Peilin Chen, Junru Li, Li Zhang, Shiqi Wang,
- Abstract要約: ロスシー画像圧縮ネットワークは、特定の歪み制約に固執しながら、画像の潜伏エントロピーを最小限にすることを目的としている。
本稿では、負条件源エントロピーをトレーニング対象に組み込むことにより、ニューラル画像圧縮タスクの新たな構造正規化手法を提案する。
- 参考スコア（独自算出の注目度）: 20.939331919455935
- License:
- Abstract: Lossy image compression networks aim to minimize the latent entropy of images while adhering to specific distortion constraints. However, optimizing the neural network can be challenging due to its nature of learning quantized latent representations. In this paper, our key finding is that minimizing the latent entropy is, to some extent, equivalent to maximizing the conditional source entropy, an insight that is deeply rooted in information-theoretic equalities. Building on this insight, we propose a novel structural regularization method for the neural image compression task by incorporating the negative conditional source entropy into the training objective, such that both the optimization efficacy and the model's generalization ability can be promoted. The proposed information-theoretic regularizer is interpretable, plug-and-play, and imposes no inference overheads. Extensive experiments demonstrate its superiority in regularizing the models and further squeezing bits from the latent representation across various compression structures and unseen domains.
- Abstract（参考訳）: ロスシー画像圧縮ネットワークは、特定の歪み制約に固執しながら、画像の潜伏エントロピーを最小限にすることを目的としている。
しかし、量子化された潜在表現を学習する性質のため、ニューラルネットワークの最適化は困難である。
本稿では,潜伏エントロピーの最小化が,情報理論の等式に深く根ざしたインサイトである条件付きソースエントロピーの最大化とある程度等価であることを示す。
この知見に基づいて, 負条件源エントロピーをトレーニング対象に組み込むことにより, ニューラル画像圧縮タスクの新たな構造正規化手法を提案する。
提案した情報理論正規化器は、解釈可能で、プラグ&プレイ可能であり、推論オーバーヘッドを課さない。
広範囲な実験は、モデルを規則化し、様々な圧縮構造や目に見えない領域にまたがる潜在表現からさらにビットを絞るという点において、その優位性を証明している。
関連論文リスト
- Multi-Context Dual Hyper-Prior Neural Image Compression [10.349258638494137]
入力画像から局所的情報と大域的情報の両方を効率的にキャプチャするトランスフォーマーに基づく非線形変換を提案する。
また、2つの異なるハイパープライヤを組み込んだ新しいエントロピーモデルを導入し、潜在表現のチャネル間および空間的依存関係をモデル化する。
実験の結果,提案するフレームワークは,速度歪み性能の観点から,最先端の手法よりも優れた性能を示すことがわかった。
論文 参考訳（メタデータ） (2023-09-19T17:44:44Z) - Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image
Compression [63.56922682378755]
本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。
提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。
実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
論文 参考訳（メタデータ） (2023-08-17T01:34:51Z) - Uncovering the Over-smoothing Challenge in Image Super-Resolution: Entropy-based Quantification and Contrastive Optimization [67.99082021804145]
我々はDetail Enhanced Contrastive Loss (DECLoss)と呼ばれるCOO問題に対する明確な解決策を提案する。
DECLossはコントラスト学習のクラスタリング特性を利用して、潜在的な高分解能分布の分散を直接的に低減する。
我々は複数の超高解像度ベンチマーク上でDECLosを評価し,PSNR指向モデルの知覚品質を向上させることを実証した。
論文 参考訳（メタデータ） (2022-01-04T08:30:09Z) - Joint Global and Local Hierarchical Priors for Learned Image Compression [30.44884350320053]
近年,従来の手書き画像コーデックと比較して,学習画像圧縮法の性能が向上している。
本稿では,ローカル情報とグローバル情報の両方をコンテンツに依存した方法で活用する,情報変換(Information Transformer, Informer)と呼ばれる新しいエントロピーモデルを提案する。
実験により,Informer はKodak および Tecnick データセットの最先端手法よりも速度歪み性能が向上することを示した。
論文 参考訳（メタデータ） (2021-12-08T06:17:37Z) - Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。
実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
論文 参考訳（メタデータ） (2021-11-27T12:12:57Z) - Using Deep Image Priors to Generate Counterfactual Explanations [38.62513524757573]
ディープ画像先行(DIP)は、潜在表現エンコーディングからプレイメージを得るために用いられる。
本稿では,予測器と共同で学習した補助損失推定器に基づく新たな正規化戦略を提案する。
論文 参考訳（メタデータ） (2020-10-22T20:40:44Z) - Learning Accurate Entropy Model with Global Reference for Image
Compression [22.171750277528222]
本稿では,局所的およびグローバルな文脈情報を活用するために,画像圧縮のための新しいグローバル参照モデルを提案する。
この研究の副産物は、パフォーマンスをさらに向上する平均シフトGDNモジュールの革新である。
論文 参考訳（メタデータ） (2020-10-16T11:27:46Z) - Perceptually Optimizing Deep Image Compression [53.705543593594285]
平均二乗誤差(MSE)と$ell_p$ノルムは、ニューラルネットワークの損失の測定で大きく支配されている。
本稿では,定量的知覚モデルに対して,画像解析ネットワークを最適化するための異なるプロキシ手法を提案する。
論文 参考訳（メタデータ） (2020-07-03T14:33:28Z) - Improving Inference for Neural Image Compression [31.999462074510305]
State-of-the-art method build on Hierarchical variational autoencoders to predict a compressible latent representation of each data point。
従来の手法では性能を制限した3つの近似ギャップを同定する。
本稿では,これら3つの制約のそれぞれについて,反復的推論に関する考え方に基づく対策を提案する。
論文 参考訳（メタデータ） (2020-06-07T19:26:37Z) - Learning Context-Based Non-local Entropy Modeling for Image Compression [140.64888994506313]
本稿では,文脈内でのグローバルな類似性を利用して,文脈モデリングのための非局所的操作を提案する。
エントロピーモデルはさらに、結合速度歪み最適化における速度損失として採用されている。
低歪みモデルのトレーニングに変換の幅が不可欠であることを考えると、最終的に変換のU-Netブロックを生成して、管理可能なメモリ消費と時間複雑性で幅を拡大する。
論文 参考訳（メタデータ） (2020-05-10T13:28:18Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。