論文の概要: Enhanced Distribution Alignment for Post-Training Quantization of
Diffusion Models
- arxiv url: http://arxiv.org/abs/2401.04585v1
- Date: Tue, 9 Jan 2024 14:42:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 15:37:57.348588
- Title: Enhanced Distribution Alignment for Post-Training Quantization of
Diffusion Models
- Title(参考訳): 拡散モデルのトレーニング後量子化のための分布アライメントの強化
- Authors: Xuewen Liu, Zhikai Li, Junrui Xiao, Qingyi Gu
- Abstract要約: 量子化はモデルの複雑さを効果的に軽減し、後学習の量子化はデノナイジングプロセスの加速に非常に有望である。
既存の拡散モデルのPTQ法は, キャリブレーションサンプルレベルと再構成出力レベルの両方の分布ミスマッチ問題に悩まされている。
本稿では,拡散モデル(EDA-DM)の学習後量子化のための分散アライメントの強化について述べる。
EDA-DMは、未条件および条件付き両方のシナリオにおいて、既存のトレーニング後の量子化フレームワークより優れている。
- 参考スコア(独自算出の注目度): 4.601488148143309
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models have achieved great success in image generation tasks
through iterative noise estimation. However, the heavy denoising process and
complex neural networks hinder their low-latency applications in real-world
scenarios. Quantization can effectively reduce model complexity, and
post-training quantization (PTQ), which does not require fine-tuning, is highly
promising in accelerating the denoising process. Unfortunately, we find that
due to the highly dynamic distribution of activations in different denoising
steps, existing PTQ methods for diffusion models suffer from distribution
mismatch issues at both calibration sample level and reconstruction output
level, which makes the performance far from satisfactory, especially in low-bit
cases. In this paper, we propose Enhanced Distribution Alignment for
Post-Training Quantization of Diffusion Models (EDA-DM) to address the above
issues. Specifically, at the calibration sample level, we select calibration
samples based on the density and diversity in the latent space, thus
facilitating the alignment of their distribution with the overall samples; and
at the reconstruction output level, we propose Fine-grained Block
Reconstruction, which can align the outputs of the quantized model and the
full-precision model at different network granularity. Extensive experiments
demonstrate that EDA-DM outperforms the existing post-training quantization
frameworks in both unconditional and conditional generation scenarios. At
low-bit precision, the quantized models with our method even outperform the
full-precision models on most datasets.
- Abstract(参考訳): 拡散モデルは反復雑音推定により画像生成タスクにおいて大きな成功を収めた。
しかし、重いノイズ発生プロセスと複雑なニューラルネットワークは、現実のシナリオにおける低レイテンシアプリケーションを妨げる。
量子化はモデルの複雑さを効果的に軽減し、微調整を必要としない後学習量子化(PTQ)は、デノナイジングプロセスの加速に非常に有望である。
不運なことに, 従来の拡散モデルのPTQ法は, キャリブレーションサンプルレベルと再構成出力レベルの両方の分布ミスマッチ問題に悩まされており, 性能が特に低ビットの場合において, はるかに良好ではないことが判明した。
本稿では, 拡散モデル(eda-dm)の学習後量子化のための分布アライメントの強化を提案する。
具体的には,キャリブレーションサンプルレベルでは,潜在空間の密度と多様性に基づいてキャリブレーションサンプルを選択し,その分布と全体サンプルとのアラインメントを容易にするとともに,再構成出力レベルでは,量子化モデルと全精度モデルの出力を異なるネットワーク粒度で調整可能な細粒度ブロック再構成を提案する。
EDA-DMは、未条件および条件付き両方のシナリオにおいて、既存のトレーニング後の量子化フレームワークよりも優れた性能を示す。
低ビット精度では、我々の手法による量子化モデルは、ほとんどのデータセットの完全精度モデルよりも優れている。
関連論文リスト
- Post-training Quantization with Progressive Calibration and Activation
Relaxing for Text-to-Image Diffusion Models [52.298040414591135]
テキスト・画像拡散モデルのための学習後量子化手法を提案する。
我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。
論文 参考訳(メタデータ) (2023-11-10T09:10:09Z) - Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。
暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。
提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-21T18:49:22Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-05-22T12:18:20Z) - PTQD: Accurate Post-Training Quantization for Diffusion Models [22.567863065523902]
拡散モデルの学習後の量子化は、モデルのサイズを著しく減らし、再学習することなくサンプリングプロセスを加速することができる。
既存のPTQ法を直接低ビット拡散モデルに適用することは、生成されたサンプルの品質を著しく損なう可能性がある。
本稿では,量子化復調過程における量子化雑音と拡散摂動雑音の統一的な定式化を提案する。
論文 参考訳(メタデータ) (2023-05-18T02:28:42Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。
本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。
提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
論文 参考訳(メタデータ) (2023-02-08T19:38:59Z) - Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
論文 参考訳(メタデータ) (2023-01-19T09:48:07Z) - ClusterQ: Semantic Feature Distribution Alignment for Data-Free
Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。
意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。
また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文 参考訳(メタデータ) (2022-04-30T06:58:56Z) - Diversifying Sample Generation for Accurate Data-Free Quantization [35.38029335993735]
均質化による悪影響を軽減するために,DSG(Diverse Sample Generation)方式を提案する。
我々の手法は多用途であり、AdaRoundのような最先端のポストトレーニング量子化手法にも適用できる。
論文 参考訳(メタデータ) (2021-03-01T14:46:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。