論文の概要: Learned transform compression with optimized entropy encoding
- arxiv url: http://arxiv.org/abs/2104.03305v1
- Date: Wed, 7 Apr 2021 17:58:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-08 14:13:05.652953
- Title: Learned transform compression with optimized entropy encoding
- Title(参考訳): エントロピー符号化最適化による学習変換圧縮
- Authors: Magda Gregorov\'a, Marc Desaules, Alexandros Kalousis
- Abstract要約: 学習した変換圧縮の問題を検討し、離散符号上の変換と確率分布の両方を学習する。
勾配のバックプロパゲーションを可能にするために量子化演算をソフト緩和し, 潜在符号のベクトル量子化を(スカラーではなく)採用した。
- 参考スコア(独自算出の注目度): 72.20409648915398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of learned transform compression where we learn both,
the transform as well as the probability distribution over the discrete codes.
We utilize a soft relaxation of the quantization operation to allow for
back-propagation of gradients and employ vector (rather than scalar)
quantization of the latent codes. Furthermore, we apply similar relaxation in
the code probability assignments enabling direct optimization of the code
entropy. To the best of our knowledge, this approach is completely novel. We
conduct a set of proof-of concept experiments confirming the potency of our
approaches.
- Abstract(参考訳): 我々は, 離散符号上の確率分布だけでなく, 変換も学習する学習変換圧縮の問題を考える。
量子化演算のソフトリラクゼーションを利用して勾配のバックプロパゲーションを可能にし,潜在符号のベクトル量子化を(スカラーではなく)採用する。
さらに、コードエントロピーの直接最適化を可能にするコード確率割当にも同様の緩和を適用する。
私たちの知る限りでは、このアプローチは全く新しいものです。
我々は,概念実証実験を行い,提案手法の有効性を確認した。
関連論文リスト
- Approaching Rate-Distortion Limits in Neural Compression with Lattice
Transform Coding [33.377272636443344]
ニューラル圧縮設計では、ソースを潜在ベクトルに変換し、それを整数に丸め、エントロピーを符号化する。
我々は、i.d.配列に対して非常に最適であり、実際に、元のソースシーケンスのスカラー量子化を常に回復することを示した。
遅延空間におけるスカラー量子化の代わりに格子量子化を用いることにより、格子変換符号化(LTC)が様々な次元で最適なベクトル量子化を回復できることを実証する。
論文 参考訳(メタデータ) (2024-03-12T05:09:25Z) - Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler
Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。
KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。
KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
論文 参考訳(メタデータ) (2023-03-31T15:44:13Z) - LVQAC: Lattice Vector Quantization Coupled with Spatially Adaptive
Companding for Efficient Learned Image Compression [24.812267280543693]
本稿では,空間適応型コンパウンディング(LVQAC)マッピングを併用した新しい格子ベクトル量子化方式を提案する。
エンドツーエンドのCNN画像圧縮モデルでは、一様量子化器をLVQACで置き換えることにより、モデルの複雑さを大幅に増大させることなく、より優れたレート歪み性能が得られる。
論文 参考訳(メタデータ) (2023-03-25T23:34:15Z) - Unified Multivariate Gaussian Mixture for Efficient Neural Image
Compression [151.3826781154146]
先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。
ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。
当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
論文 参考訳(メタデータ) (2022-03-21T11:44:17Z) - Communication-Efficient Federated Learning via Quantized Compressed
Sensing [82.10695943017907]
提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。
勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。
圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
論文 参考訳(メタデータ) (2021-11-30T02:13:54Z) - End-to-end optimized image compression with competition of prior
distributions [29.585370305561582]
本稿では,単一の畳み込みオートエンコーダと学習前の複数分布を用いた圧縮方式を提案する。
提案手法は, 予め予測したパラメトリケート値に匹敵する速度歪み特性を示す。
論文 参考訳(メタデータ) (2021-11-17T15:04:01Z) - HEMP: High-order Entropy Minimization for neural network comPression [20.448617917261874]
我々は、量子化された人工ニューラルネットワークのエントロピーを、正規化項として、降下によって最小化されるコスト関数にプラグインできる微分可能な関数として定式化する。
HEMPは, モデル自体の刈り取りや定量化を目的とした他の手法と相乗効果があり, モデルの性能を損なうことなく, ストレージサイズ圧縮性の観点から大きなメリットが得られることを示す。
論文 参考訳(メタデータ) (2021-07-12T10:17:53Z) - Sigma-Delta and Distributed Noise-Shaping Quantization Methods for
Random Fourier Features [73.25551965751603]
我々は、量子化 RFF が基礎となるカーネルの高精度な近似を可能にすることを証明した。
量子化 RFF はさらに圧縮され,メモリ使用量と精度のトレードオフに優れることを示す。
本手法は,この文脈におけるアート量子化手法の他の状態と比較し,いくつかの機械学習タスクにおいて,提案手法の性能を実証的に示す。
論文 参考訳(メタデータ) (2021-06-04T17:24:47Z) - Unfolding Neural Networks for Compressive Multichannel Blind
Deconvolution [71.29848468762789]
圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。
この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。
提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
論文 参考訳(メタデータ) (2020-10-22T02:34:33Z) - Continual Learning from the Perspective of Compression [28.90542302130312]
ニューラルネットワークのようなコネクショニストモデルは破滅的な忘れ込みに悩まされる。
MLプラグインとベイズ混合符号を組み合わせた連続学習法を提案する。
論文 参考訳(メタデータ) (2020-06-26T16:15:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。