Fugu-MT 論文翻訳(概要): Learned transform compression with optimized entropy encoding

論文の概要: Learned transform compression with optimized entropy encoding

arxiv url: http://arxiv.org/abs/2104.03305v1
Date: Wed, 7 Apr 2021 17:58:01 GMT
ステータス: 処理完了
システム内更新日: 2021-04-08 14:13:05.652953
Title: Learned transform compression with optimized entropy encoding
Title（参考訳）: エントロピー符号化最適化による学習変換圧縮
Authors: Magda Gregorov\'a, Marc Desaules, Alexandros Kalousis
Abstract要約: 学習した変換圧縮の問題を検討し、離散符号上の変換と確率分布の両方を学習する。勾配のバックプロパゲーションを可能にするために量子化演算をソフト緩和し, 潜在符号のベクトル量子化を(スカラーではなく)採用した。
参考スコア（独自算出の注目度）: 72.20409648915398
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We consider the problem of learned transform compression where we learn both, the transform as well as the probability distribution over the discrete codes. We utilize a soft relaxation of the quantization operation to allow for back-propagation of gradients and employ vector (rather than scalar) quantization of the latent codes. Furthermore, we apply similar relaxation in the code probability assignments enabling direct optimization of the code entropy. To the best of our knowledge, this approach is completely novel. We conduct a set of proof-of concept experiments confirming the potency of our approaches.
Abstract（参考訳）: 我々は, 離散符号上の確率分布だけでなく, 変換も学習する学習変換圧縮の問題を考える。量子化演算のソフトリラクゼーションを利用して勾配のバックプロパゲーションを可能にし,潜在符号のベクトル量子化を(スカラーではなく)採用する。さらに、コードエントロピーの直接最適化を可能にするコード確率割当にも同様の緩和を適用する。私たちの知る限りでは、このアプローチは全く新しいものです。我々は,概念実証実験を行い,提案手法の有効性を確認した。

関連論文リスト

Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
論文参考訳（メタデータ） (2024-05-17T21:17:27Z)
Projective squeezing for translation symmetric bosonic codes [0.16777183511743468]
我々は,より高いスキューズレベルの結果を計算するために,テキストプロジェクティブ・スクイーズ法(PS)を導入する。我々は解析的議論を数値的に検証し、このプロトコルが光子損失の影響を軽減することができることを示す。
論文参考訳（メタデータ） (2024-03-21T08:19:47Z)
Approaching Rate-Distortion Limits in Neural Compression with Lattice Transform Coding [33.377272636443344]
ニューラル圧縮設計では、ソースを潜在ベクトルに変換し、それを整数に丸め、エントロピーを符号化する。我々は、i.d.配列に対して非常に最適であり、実際に、元のソースシーケンスのスカラー量子化を常に回復することを示した。遅延空間におけるスカラー量子化の代わりに格子量子化を用いることにより、格子変換符号化(LTC)が様々な次元で最適なベクトル量子化を回復できることを実証する。
論文参考訳（メタデータ） (2024-03-12T05:09:25Z)
Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
論文参考訳（メタデータ） (2023-03-31T15:44:13Z)
LVQAC: Lattice Vector Quantization Coupled with Spatially Adaptive Companding for Efficient Learned Image Compression [24.812267280543693]
本稿では,空間適応型コンパウンディング(LVQAC)マッピングを併用した新しい格子ベクトル量子化方式を提案する。エンドツーエンドのCNN画像圧縮モデルでは、一様量子化器をLVQACで置き換えることにより、モデルの複雑さを大幅に増大させることなく、より優れたレート歪み性能が得られる。
論文参考訳（メタデータ） (2023-03-25T23:34:15Z)
Unified Multivariate Gaussian Mixture for Efficient Neural Image Compression [151.3826781154146]
先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
論文参考訳（メタデータ） (2022-03-21T11:44:17Z)
End-to-end optimized image compression with competition of prior distributions [29.585370305561582]
本稿では,単一の畳み込みオートエンコーダと学習前の複数分布を用いた圧縮方式を提案する。提案手法は, 予め予測したパラメトリケート値に匹敵する速度歪み特性を示す。
論文参考訳（メタデータ） (2021-11-17T15:04:01Z)
Sigma-Delta and Distributed Noise-Shaping Quantization Methods for Random Fourier Features [73.25551965751603]
我々は、量子化 RFF が基礎となるカーネルの高精度な近似を可能にすることを証明した。量子化 RFF はさらに圧縮され,メモリ使用量と精度のトレードオフに優れることを示す。本手法は,この文脈におけるアート量子化手法の他の状態と比較し,いくつかの機械学習タスクにおいて,提案手法の性能を実証的に示す。
論文参考訳（メタデータ） (2021-06-04T17:24:47Z)
Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
論文参考訳（メタデータ） (2020-10-22T02:34:33Z)
Continual Learning from the Perspective of Compression [28.90542302130312]
ニューラルネットワークのようなコネクショニストモデルは破滅的な忘れ込みに悩まされる。 MLプラグインとベイズ混合符号を組み合わせた連続学習法を提案する。
論文参考訳（メタデータ） (2020-06-26T16:15:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。