論文の概要: Learned Compression of Encoding Distributions
- arxiv url: http://arxiv.org/abs/2406.13059v1
- Date: Tue, 18 Jun 2024 21:05:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-22 00:08:09.762799
- Title: Learned Compression of Encoding Distributions
- Title（参考訳）: 符号化分布の学習圧縮
- Authors: Mateen Ulhaq, Ivan V. Bajić,
- Abstract要約: エントロピーボトルネックは多くの学習された圧縮モデルで使用される共通成分である。
特定の入力に対する潜在データ分布と一致するように符号化分布を適応させる手法を提案する。
提案手法は,Kodakテストデータセット上でのBjontegaard-Delta(BD)レートの7.10%向上を実現する。
- 参考スコア（独自算出の注目度）: 1.4732811715354455
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The entropy bottleneck introduced by Ball\'e et al. is a common component used in many learned compression models. It encodes a transformed latent representation using a static distribution whose parameters are learned during training. However, the actual distribution of the latent data may vary wildly across different inputs. The static distribution attempts to encompass all possible input distributions, thus fitting none of them particularly well. This unfortunate phenomenon, sometimes known as the amortization gap, results in suboptimal compression. To address this issue, we propose a method that dynamically adapts the encoding distribution to match the latent data distribution for a specific input. First, our model estimates a better encoding distribution for a given input. This distribution is then compressed and transmitted as an additional side-information bitstream. Finally, the decoder reconstructs the encoding distribution and uses it to decompress the corresponding latent data. Our method achieves a Bj{\o}ntegaard-Delta (BD)-rate gain of -7.10% on the Kodak test dataset when applied to the standard fully-factorized architecture. Furthermore, considering computational complexity, the transform used by our method is an order of magnitude cheaper in terms of Multiply-Accumulate (MAC) operations compared to related side-information methods such as the scale hyperprior.
- Abstract（参考訳）: Ball\'eらによって導入されたエントロピーボトルネックは、多くの学習された圧縮モデルで使用される一般的なコンポーネントである。
トレーニング中にパラメータが学習される静的分布を使用して、変換された潜在表現をエンコードする。
しかし、潜伏データの実際の分布は異なる入力によって大きく異なる可能性がある。
静的分布は、可能なすべての入力分布を包含しようとするため、それらに特に適合しない。
この不運な現象は、時としてアモータイズギャップ(英語版)として知られ、最適下圧縮をもたらす。
この問題に対処するために,符号化分布を動的に適応させ,特定の入力に対して遅延データ分布に適合させる手法を提案する。
まず、与えられた入力に対してより良い符号化分布を推定する。
この分布は圧縮され、追加のサイド情報ビットストリームとして送信される。
最後に、復号器は符号化分布を再構成し、それを用いて対応する遅延データを復号する。
本手法は,標準の完全分解アーキテクチャに適用した場合に,Kodakテストデータセット上でのBj{\o}ntegaard-Delta(BD)レートの7.10%向上を実現する。
さらに,計算複雑性を考慮すると,提案手法が用いた変換は,スケールハイパープライアなどの関連側情報手法と比較して,MAC演算において桁違いに安価である。
関連論文リスト
- Correcting Diffusion-Based Perceptual Image Compression with Privileged End-to-End Decoder [49.01721042973929]
本稿では,特権付きエンド・ツー・エンド・エンド・デコーダ・モデルを用いた拡散型画像圧縮法を提案する。
従来の知覚圧縮法と比較して,歪みと知覚の両方において,本手法の優位性を示す実験を行った。
論文 参考訳（メタデータ） (2024-04-07T10:57:54Z) - Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳（メタデータ） (2024-02-07T16:32:29Z) - Symmetric Equilibrium Learning of VAEs [56.56929742714685]
可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。
本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
論文 参考訳（メタデータ） (2023-07-19T10:27:34Z) - Variational Diffusion Auto-encoder: Latent Space Extraction from
Pre-trained Diffusion Models [0.0]
可変オートエンコーダ(VAE)は、生成された画像の品質の問題に直面し、しばしば目立った曖昧さを示す。
この問題は、条件付きデータ分布を近似する非現実的な仮定である $p(textbfx | textbfz)$ が等方ガウス的であることに由来する。
本稿では,エンコーダを最適化することにより,既存の拡散モデルから潜在空間を抽出し,限界データのログ化を最大化する方法について述べる。
論文 参考訳（メタデータ） (2023-04-24T14:44:47Z) - Lossy Image Compression with Conditional Diffusion Models [25.158390422252097]
本稿では,拡散生成モデルを用いた画像圧縮のエンドツーエンド最適化について概説する。
VAEベースのニューラル圧縮とは対照的に、(平均)デコーダは決定論的ニューラルネットワークであり、私たちのデコーダは条件付き拡散モデルである。
提案手法では,GANモデルよりもFIDスコアが強く,VAEモデルとの競合性能も高い。
論文 参考訳（メタデータ） (2022-09-14T21:53:27Z) - End-to-end optimized image compression with competition of prior
distributions [29.585370305561582]
本稿では,単一の畳み込みオートエンコーダと学習前の複数分布を用いた圧縮方式を提案する。
提案手法は, 予め予測したパラメトリケート値に匹敵する速度歪み特性を示す。
論文 参考訳（メタデータ） (2021-11-17T15:04:01Z) - Neural Distributed Source Coding [59.630059301226474]
相関構造に依存せず,高次元までスケール可能な損失DSCのためのフレームワークを提案する。
提案手法は,複数のデータセット上で評価し,複雑な相関関係と最先端PSNRを扱えることを示す。
論文 参考訳（メタデータ） (2021-06-05T04:50:43Z) - Adapting deep generative approaches for getting synthetic data with
realistic marginal distributions [0.0]
可変オートエンコーダ(VAE)のような深層生成モデルは、元のデータからこのような合成データセットを作成するための一般的なアプローチである。
本稿では,バイモーダルおよびスキュードデータに対処する新しい手法,PTVAE(pre-transformation variational autoencoders)を提案する。
その結果、PTVAEアプローチはバイモーダルデータとスキューデータの両方において他よりも優れていることがわかった。
論文 参考訳（メタデータ） (2021-05-14T15:47:20Z) - Generative Semantic Hashing Enhanced via Boltzmann Machines [61.688380278649056]
既存の生成ハッシュ法は、主に後部分布の分解形式を仮定する。
本稿では,ボルツマンマシンの分布を検索後部として利用することを提案する。
ハッシュコード内の異なるビット間の相関関係を効果的にモデル化することにより、我々のモデルは大幅な性能向上を達成できることを示す。
論文 参考訳（メタデータ） (2020-06-16T01:23:39Z) - Variational Hyper-Encoding Networks [62.74164588885455]
ニューラルネットワークパラメータの分布を符号化するHyperVAEというフレームワークを提案する。
遅延符号の後部分布を予測し,行列ネットワークデコーダを用いて後部分布q(theta)を生成する。
論文 参考訳（メタデータ） (2020-05-18T06:46:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。