論文の概要: Variational Bayesian Quantization
- arxiv url: http://arxiv.org/abs/2002.08158v2
- Date: Mon, 7 Sep 2020 22:25:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 19:06:11.152454
- Title: Variational Bayesian Quantization
- Title（参考訳）: 変分ベイズ量子化
- Authors: Yibo Yang, Robert Bamler and Stephan Mandt
- Abstract要約: 訓練されたモデルにおける連続潜伏表現の定量化のための新しいアルゴリズムを提案する。
固定量子化スキームにモデルを組み込む現在のエンドツーエンドのニューラル圧縮法とは異なり、我々のアルゴリズムはモデル設計とトレーニングを量子化から分離する。
我々のアルゴリズムは連続領域への算術符号の新たな拡張と見なすことができる。
- 参考スコア（独自算出の注目度）: 31.999462074510305
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel algorithm for quantizing continuous latent representations
in trained models. Our approach applies to deep probabilistic models, such as
variational autoencoders (VAEs), and enables both data and model compression.
Unlike current end-to-end neural compression methods that cater the model to a
fixed quantization scheme, our algorithm separates model design and training
from quantization. Consequently, our algorithm enables "plug-and-play"
compression with variable rate-distortion trade-off, using a single trained
model. Our algorithm can be seen as a novel extension of arithmetic coding to
the continuous domain, and uses adaptive quantization accuracy based on
estimates of posterior uncertainty. Our experimental results demonstrate the
importance of taking into account posterior uncertainties, and show that image
compression with the proposed algorithm outperforms JPEG over a wide range of
bit rates using only a single standard VAE. Further experiments on Bayesian
neural word embeddings demonstrate the versatility of the proposed method.
- Abstract（参考訳）: 訓練モデルの連続的潜在表現を定量化する新しいアルゴリズムを提案する。
我々のアプローチは、変動オートエンコーダ(VAE)のような深い確率モデルに適用され、データとモデル圧縮の両方を可能にする。
固定量子化スキームにモデルを組み込む現在のエンドツーエンドのニューラル圧縮法とは異なり、我々のアルゴリズムはモデル設計とトレーニングを量子化から分離する。
そこで本アルゴリズムは,単一学習モデルを用いて,可変レート歪みトレードオフによる「プラグ・アンド・プレイ」圧縮を実現する。
本アルゴリズムは連続領域への算術符号化の新たな拡張と見なすことができ、後方不確かさの推定に基づく適応量子化精度を用いる。
実験の結果,後続の不確かさを考慮に入れることの重要性が示され,提案アルゴリズムによる画像圧縮は,単一の標準VAEのみを用いて,幅広いビットレートでJPEGより優れていることが示された。
ベイズニューラルワード埋め込みに関するさらなる実験は、提案手法の汎用性を示している。
関連論文リスト
- Variational Bayes image restoration with compressive autoencoders [4.879530644978008]
逆問題の正規化は、計算イメージングにおいて最重要となる。
本研究では,まず,最先端生成モデルの代わりに圧縮型オートエンコーダを提案する。
第2の貢献として、変分ベイズ潜時推定(VBLE)アルゴリズムを導入する。
論文 参考訳（メタデータ） (2023-11-29T15:49:31Z) - Quantization Aware Factorization for Deep Neural Network Compression [20.04951101799232]
畳み込み層と完全連結層の分解は、ニューラルネットワークにおけるパラメータとFLOPを減らす効果的な方法である。
従来のトレーニング後量子化手法は重み付きネットワークに適用され、精度が低下する。
これは、分解された近似を量子化因子で直接発見するアルゴリズムを開発する動機となった。
論文 参考訳（メタデータ） (2023-08-08T21:38:02Z) - Towards Accurate Post-training Quantization for Diffusion Models [73.19871905102545]
本稿では,効率的な画像生成のための拡散モデル(ADP-DM)の高精度なデータフリーポストトレーニング量子化フレームワークを提案する。
提案手法は, 拡散モデルの学習後の量子化を, 同様の計算コストで, 非常に大きなマージンで高速化する。
論文 参考訳（メタデータ） (2023-05-30T04:00:35Z) - Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。
決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。
本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-11T15:20:54Z) - Modality-Agnostic Variational Compression of Implicit Neural
Representations [96.35492043867104]
Inlicit Neural Representation (INR) としてパラメータ化されたデータの関数的ビューに基づくモーダリティ非依存型ニューラル圧縮アルゴリズムを提案する。
潜時符号化と疎性の間のギャップを埋めて、ソフトゲーティング機構に非直線的にマッピングされたコンパクト潜時表現を得る。
このような潜在表現のデータセットを得た後、ニューラル圧縮を用いてモーダリティ非依存空間におけるレート/歪みトレードオフを直接最適化する。
論文 参考訳（メタデータ） (2023-01-23T15:22:42Z) - Deblurring via Stochastic Refinement [85.42730934561101]
条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。
提案手法は,PSNRなどの歪み指標の点で競合する。
論文 参考訳（メタデータ） (2021-12-05T04:36:09Z) - Conditional Variational Autoencoder for Learned Image Reconstruction [5.487951901731039]
本研究では,未知画像の後部分布を問合せ観測で近似する新しいフレームワークを開発する。
暗黙のノイズモデルと先行処理を処理し、データ生成プロセス(フォワード演算子)を組み込み、学習された再構成特性は異なるデータセット間で転送可能である。
論文 参考訳（メタデータ） (2021-10-22T10:02:48Z) - Sigma-Delta and Distributed Noise-Shaping Quantization Methods for
Random Fourier Features [73.25551965751603]
我々は、量子化 RFF が基礎となるカーネルの高精度な近似を可能にすることを証明した。
量子化 RFF はさらに圧縮され,メモリ使用量と精度のトレードオフに優れることを示す。
本手法は,この文脈におけるアート量子化手法の他の状態と比較し,いくつかの機械学習タスクにおいて,提案手法の性能を実証的に示す。
論文 参考訳（メタデータ） (2021-06-04T17:24:47Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - FracBits: Mixed Precision Quantization via Fractional Bit-Widths [29.72454879490227]
混合精度量子化は、複数のビット幅での算術演算をサポートするカスタマイズハードウェアで好適である。
本稿では,目標計算制約下での混合精度モデルに基づく学習に基づく新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-04T06:09:09Z) - Compressive MRI quantification using convex spatiotemporal priors and
deep auto-encoders [2.5060548079588516]
マルチパラメトリック画像計算のための辞書不要パイプラインを提案する。
提案手法は,圧縮型センシング再構成と定量的推論の2段階からなる。
論文 参考訳（メタデータ） (2020-01-23T17:15:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。