論文の概要: Q-Diffusion: Quantizing Diffusion Models
- arxiv url: http://arxiv.org/abs/2302.04304v3
- Date: Thu, 8 Jun 2023 09:21:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 19:29:31.853183
- Title: Q-Diffusion: Quantizing Diffusion Models
- Title(参考訳): q-diffusion:拡散モデルの定量化
- Authors: Xiuyu Li, Yijiang Liu, Long Lian, Huanrui Yang, Zhen Dong, Daniel
Kang, Shanghang Zhang, Kurt Keutzer
- Abstract要約: ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。
本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。
提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
- 参考スコア(独自算出の注目度): 52.978047249670276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models have achieved great success in image synthesis through
iterative noise estimation using deep neural networks. However, the slow
inference, high memory consumption, and computation intensity of the noise
estimation model hinder the efficient adoption of diffusion models. Although
post-training quantization (PTQ) is considered a go-to compression method for
other tasks, it does not work out-of-the-box on diffusion models. We propose a
novel PTQ method specifically tailored towards the unique multi-timestep
pipeline and model architecture of the diffusion models, which compresses the
noise estimation network to accelerate the generation process. We identify the
key difficulty of diffusion model quantization as the changing output
distributions of noise estimation networks over multiple time steps and the
bimodal activation distribution of the shortcut layers within the noise
estimation network. We tackle these challenges with timestep-aware calibration
and split shortcut quantization in this work. Experimental results show that
our proposed method is able to quantize full-precision unconditional diffusion
models into 4-bit while maintaining comparable performance (small FID change of
at most 2.34 compared to >100 for traditional PTQ) in a training-free manner.
Our approach can also be applied to text-guided image generation, where we can
run stable diffusion in 4-bit weights with high generation quality for the
first time.
- Abstract(参考訳): 拡散モデルは深層ニューラルネットワークを用いた反復雑音推定により画像合成において大きな成功を収めた。
しかし、ノイズ推定モデルの低速推論、高メモリ消費、計算強度は拡散モデルの効率的な適用を妨げている。
ポストトレーニング量子化(PTQ)は他のタスクに対するゴーツー圧縮法と考えられているが、拡散モデルではうまく機能しない。
本稿では,ノイズ推定ネットワークを圧縮して生成過程を高速化する拡散モデルの一意なマルチタイムステップパイプラインとモデルアーキテクチャを指向した,新しいptq法を提案する。
拡散モデル量子化の重要な難しさを,複数の時間ステップにわたるノイズ推定ネットワークの出力分布の変化と,ノイズ推定ネットワーク内の近道層のバイモーダル活性化分布と同定する。
本研究では,これらの課題をタイムステップ対応キャリブレーションとショートカット量子化の分割によって解決する。
実験結果から,提案手法は実精度の非条件拡散モデルを4ビットに定量化できるが,従来のPTQでは100>100と同等の性能(FIDの変化は2.34以上)をトレーニング不要に維持できることがわかった。
提案手法はテキスト誘導画像生成にも応用可能であり,4ビット重みの安定拡散を初めて高画質で実行することが可能である。
関連論文リスト
- Blue noise for diffusion models [48.274015390665205]
本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。
我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。
本手法を用いて,各種データセットの質的,定量的な評価を行う。
論文 参考訳(メタデータ) (2024-02-07T14:59:25Z) - QuEST: Low-bit Diffusion Model Quantization via Efficient Selective
Finetuning [14.295049174485902]
拡散モデルは画像生成タスクにおいて顕著な成功を収めてきたが、その実際の展開は高メモリと時間消費によって抑制されている。
本稿では,活性化分布に適応するために,量子化モデルを微調整する。
提案手法は,3つの高分解能画像生成タスクに対して評価し,様々なビット幅設定で最先端の性能を実現する。
論文 参考訳(メタデータ) (2024-02-06T03:39:44Z) - Enhanced Distribution Alignment for Post-Training Quantization of
Diffusion Models [4.601488148143309]
量子化はモデルの複雑さを効果的に軽減し、後学習の量子化はデノナイジングプロセスの加速に非常に有望である。
既存の拡散モデルのPTQ法は, キャリブレーションサンプルレベルと再構成出力レベルの両方の分布ミスマッチ問題に悩まされている。
本稿では,拡散モデル(EDA-DM)の学習後量子化のための分散アライメントの強化について述べる。
EDA-DMは、未条件および条件付き両方のシナリオにおいて、既存のトレーニング後の量子化フレームワークより優れている。
論文 参考訳(メタデータ) (2024-01-09T14:42:49Z) - Post-training Quantization with Progressive Calibration and Activation
Relaxing for Text-to-Image Diffusion Models [52.298040414591135]
テキスト・画像拡散モデルのための学習後量子化手法を提案する。
我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。
論文 参考訳(メタデータ) (2023-11-10T09:10:09Z) - Decoupled Diffusion Models: Image to Zero and Zero to Noise [57.9447970931649]
本稿では, 複雑な拡散過程を2つの比較的単純なプロセスに分離し, 生成効率と速度を改善することを提案する。
拡散過程の疎結合は学習の難しさを低減し、明示的な遷移確率は生成速度を大幅に向上させる。
また,このフレームワークは画像条件付き生成や高解像度画像合成にも適用可能であること,また,10機能評価のみで高品質な画像を生成することができることを示す。
論文 参考訳(メタデータ) (2023-06-23T18:08:00Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳(メタデータ) (2023-06-01T03:08:28Z) - PTQD: Accurate Post-Training Quantization for Diffusion Models [22.567863065523902]
拡散モデルの学習後の量子化は、モデルのサイズを著しく減らし、再学習することなくサンプリングプロセスを加速することができる。
既存のPTQ法を直接低ビット拡散モデルに適用することは、生成されたサンプルの品質を著しく損なう可能性がある。
本稿では,量子化復調過程における量子化雑音と拡散摂動雑音の統一的な定式化を提案する。
論文 参考訳(メタデータ) (2023-05-18T02:28:42Z) - Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。
シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
論文 参考訳(メタデータ) (2022-11-24T07:30:27Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳(メタデータ) (2022-06-10T15:09:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。