論文の概要: Post-training Quantization with Progressive Calibration and Activation
Relaxing for Text-to-Image Diffusion Models
- arxiv url: http://arxiv.org/abs/2311.06322v2
- Date: Sat, 18 Nov 2023 00:16:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 04:00:15.165645
- Title: Post-training Quantization with Progressive Calibration and Activation
Relaxing for Text-to-Image Diffusion Models
- Title(参考訳): テキスト-画像拡散モデルにおける進行校正と活性化緩和による後学習量子化
- Authors: Siao Tang, Xin Wang, Hong Chen, Chaoyu Guan, Zewen Wu, Yansong Tang,
Wenwu Zhu
- Abstract要約: テキスト・画像拡散モデルのための学習後量子化手法を提案する。
我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。
- 参考スコア(独自算出の注目度): 52.298040414591135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models have achieved great success due to their remarkable
generation ability. However, their high computational overhead is still a
troublesome problem. Recent studies have leveraged post-training quantization
(PTQ) to compress diffusion models. However, most of them only focus on
unconditional models, leaving the quantization of widely used large pretrained
text-to-image models, e.g., Stable Diffusion, largely unexplored. In this
paper, we propose a novel post-training quantization method PCR (Progressive
Calibration and Relaxing) for text-to-image diffusion models, which consists of
a progressive calibration strategy that considers the accumulated quantization
error across timesteps, and an activation relaxing strategy that improves the
performance with negligible cost. Additionally, we demonstrate the previous
metrics for text-to-image diffusion model quantization are not accurate due to
the distribution gap. To tackle the problem, we propose a novel QDiffBench
benchmark, which utilizes data in the same domain for more accurate evaluation.
Besides, QDiffBench also considers the generalization performance of the
quantized model outside the calibration dataset. Extensive experiments on
Stable Diffusion and Stable Diffusion XL demonstrate the superiority of our
method and benchmark. Moreover, we are the first to achieve quantization for
Stable Diffusion XL while maintaining the performance.
- Abstract(参考訳): 拡散モデルは、その顕著な生成能力のために大きな成功を収めた。
しかし、高い計算オーバーヘッドはいまだに厄介な問題である。
最近の研究は、拡散モデルの圧縮にPTQ(Post-training Quantization)を活用している。
しかし、それらの多くは無条件のモデルにのみ焦点をあてており、広く使われている大きな事前訓練されたテキスト-画像モデルの量子化(例えば、安定拡散)はほとんど探索されていない。
本稿では,時間経過の累積量子化誤差を考慮した漸進的キャリブレーション戦略と,無視可能なコストで性能を向上させるアクティベーション緩和戦略からなる,テキスト・画像拡散モデルのためのポストトレーニング量子化法PCR(Progressive Calibration and Relaxing)を提案する。
さらに,従来のテキスト・画像拡散モデルの量子化は分布ギャップのため正確ではないことを示す。
そこで本研究では,同一領域のデータを用いてより正確な評価を行う新しいQDiffBenchベンチマークを提案する。
さらに、QDiffBenchはキャリブレーションデータセットの外の量子化モデルの一般化性能についても検討している。
安定拡散と安定拡散xlに関する広範な実験により,本手法とベンチマークの有用性が示された。
さらに,我々は安定拡散XLの量子化を初めて達成し,その性能を維持した。
関連論文リスト
- QuEST: Low-bit Diffusion Model Quantization via Efficient Selective
Finetuning [14.295049174485902]
拡散モデルは画像生成タスクにおいて顕著な成功を収めてきたが、その実際の展開は高メモリと時間消費によって抑制されている。
本稿では,活性化分布に適応するために,量子化モデルを微調整する。
提案手法は,3つの高分解能画像生成タスクに対して評価し,様々なビット幅設定で最先端の性能を実現する。
論文 参考訳(メタデータ) (2024-02-06T03:39:44Z) - Enhanced Distribution Alignment for Post-Training Quantization of
Diffusion Models [4.601488148143309]
量子化はモデルの複雑さを効果的に軽減し、後学習の量子化はデノナイジングプロセスの加速に非常に有望である。
既存の拡散モデルのPTQ法は, キャリブレーションサンプルレベルと再構成出力レベルの両方の分布ミスマッチ問題に悩まされている。
本稿では,拡散モデル(EDA-DM)の学習後量子化のための分散アライメントの強化について述べる。
EDA-DMは、未条件および条件付き両方のシナリオにおいて、既存のトレーニング後の量子化フレームワークより優れている。
論文 参考訳(メタデータ) (2024-01-09T14:42:49Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳(メタデータ) (2023-06-01T03:08:28Z) - Towards Accurate Data-free Quantization for Diffusion Models [86.4463507827902]
本稿では,効率的な画像生成のための拡散モデル(ADP-DM)の高精度なデータフリーポストトレーニング量子化フレームワークを提案する。
提案手法は, 拡散モデルの学習後の量子化を, 同様の計算コストで, 非常に大きなマージンで高速化する。
論文 参考訳(メタデータ) (2023-05-30T04:00:35Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-05-22T12:18:20Z) - Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。
本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。
提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
論文 参考訳(メタデータ) (2023-02-08T19:38:59Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳(メタデータ) (2022-06-10T15:09:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。