論文の概要: Q-Diffusion: Quantizing Diffusion Models
- arxiv url: http://arxiv.org/abs/2302.04304v2
- Date: Fri, 10 Feb 2023 09:44:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-13 12:04:25.969661
- Title: Q-Diffusion: Quantizing Diffusion Models
- Title(参考訳): q-diffusion:拡散モデルの定量化
- Authors: Xiuyu Li, Long Lian, Yijiang Liu, Huanrui Yang, Zhen Dong, Daniel
Kang, Shanghang Zhang, Kurt Keutzer
- Abstract要約: 実験結果から,提案手法は完全精度拡散モデルを直接8ビットまたは4ビットモデルに量子化することができることがわかった。
初めて、4ビットの重みで安定した拡散を実行することができ、知覚的品質を損なうことはない。
- 参考スコア(独自算出の注目度): 52.978047249670276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models have achieved great success in synthesizing diverse and
high-fidelity images. However, sampling speed and memory constraints remain a
major barrier to the practical adoption of diffusion models, since the
generation process for these models can be slow due to the need for iterative
noise estimation using compute-intensive neural networks. We propose to tackle
this problem by compressing the noise estimation network to accelerate the
generation process through post-training quantization (PTQ). While existing PTQ
approaches have not been able to effectively deal with the changing output
distributions of noise estimation networks in diffusion models over multiple
time steps, we are able to formulate a PTQ method that is specifically designed
to handle the unique multi-timestep structure of diffusion models with a data
calibration scheme using data sampled from different time steps. Experimental
results show that our proposed method is able to directly quantize
full-precision diffusion models into 8-bit or 4-bit models while maintaining
comparable performance in a training-free manner, achieving a FID change of at
most 1.88. Our approach can also be applied to text-guided image generation,
and for the first time we can run stable diffusion in 4-bit weights without
losing much perceptual quality, as shown in Figure 5 and Figure 9.
- Abstract(参考訳): 拡散モデルは多様で高忠実な画像を合成することに成功した。
しかしながら、サンプリング速度とメモリ制約は、計算集約型ニューラルネットワークを用いた反復ノイズ推定の必要性から、これらのモデルの生成プロセスが遅くなるため、拡散モデルの実践的な採用にとって大きな障壁である。
本稿では,学習後量子化(PTQ)によって生成過程を高速化するため,ノイズ推定ネットワークを圧縮することでこの問題に対処する。
既存のPTQ手法では,複数の時間ステップにおける拡散モデルにおけるノイズ推定ネットワークの出力分布の変化を効果的に処理することはできないが,異なる時間ステップからサンプリングしたデータを用いたデータキャリブレーション方式を用いて,拡散モデルに特有のマルチステップ構造を扱うように特別に設計されたPTQ法を定式化することができる。
実験結果から,提案手法は実精度拡散モデルを直接8ビットまたは4ビットモデルに量子化し,FID変化を最大1.88で達成できることがわかった。
また,本手法はテキスト誘導画像生成にも適用可能であり,図5や図9に示すように,4ビットの重みで安定した拡散を行うことができる。
関連論文リスト
- Blue noise for diffusion models [48.274015390665205]
本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。
我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。
本手法を用いて,各種データセットの質的,定量的な評価を行う。
論文 参考訳(メタデータ) (2024-02-07T14:59:25Z) - QuEST: Low-bit Diffusion Model Quantization via Efficient Selective
Finetuning [14.295049174485902]
拡散モデルは画像生成タスクにおいて顕著な成功を収めてきたが、その実際の展開は高メモリと時間消費によって抑制されている。
本稿では,活性化分布に適応するために,量子化モデルを微調整する。
提案手法は,3つの高分解能画像生成タスクに対して評価し,様々なビット幅設定で最先端の性能を実現する。
論文 参考訳(メタデータ) (2024-02-06T03:39:44Z) - Enhanced Distribution Alignment for Post-Training Quantization of
Diffusion Models [4.601488148143309]
量子化はモデルの複雑さを効果的に軽減し、後学習の量子化はデノナイジングプロセスの加速に非常に有望である。
既存の拡散モデルのPTQ法は, キャリブレーションサンプルレベルと再構成出力レベルの両方の分布ミスマッチ問題に悩まされている。
本稿では,拡散モデル(EDA-DM)の学習後量子化のための分散アライメントの強化について述べる。
EDA-DMは、未条件および条件付き両方のシナリオにおいて、既存のトレーニング後の量子化フレームワークより優れている。
論文 参考訳(メタデータ) (2024-01-09T14:42:49Z) - Post-training Quantization with Progressive Calibration and Activation
Relaxing for Text-to-Image Diffusion Models [52.298040414591135]
テキスト・画像拡散モデルのための学習後量子化手法を提案する。
我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。
論文 参考訳(メタデータ) (2023-11-10T09:10:09Z) - Decoupled Diffusion Models: Image to Zero and Zero to Noise [57.9447970931649]
本稿では, 複雑な拡散過程を2つの比較的単純なプロセスに分離し, 生成効率と速度を改善することを提案する。
拡散過程の疎結合は学習の難しさを低減し、明示的な遷移確率は生成速度を大幅に向上させる。
また,このフレームワークは画像条件付き生成や高解像度画像合成にも適用可能であること,また,10機能評価のみで高品質な画像を生成することができることを示す。
論文 参考訳(メタデータ) (2023-06-23T18:08:00Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳(メタデータ) (2023-06-01T03:08:28Z) - PTQD: Accurate Post-Training Quantization for Diffusion Models [22.567863065523902]
拡散モデルの学習後の量子化は、モデルのサイズを著しく減らし、再学習することなくサンプリングプロセスを加速することができる。
既存のPTQ法を直接低ビット拡散モデルに適用することは、生成されたサンプルの品質を著しく損なう可能性がある。
本稿では,量子化復調過程における量子化雑音と拡散摂動雑音の統一的な定式化を提案する。
論文 参考訳(メタデータ) (2023-05-18T02:28:42Z) - Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。
シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
論文 参考訳(メタデータ) (2022-11-24T07:30:27Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳(メタデータ) (2022-06-10T15:09:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。