論文の概要: Q-Diffusion: Quantizing Diffusion Models
- arxiv url: http://arxiv.org/abs/2302.04304v3
- Date: Thu, 8 Jun 2023 09:21:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 19:29:31.853183
- Title: Q-Diffusion: Quantizing Diffusion Models
- Title（参考訳）: q-diffusion:拡散モデルの定量化
- Authors: Xiuyu Li, Yijiang Liu, Long Lian, Huanrui Yang, Zhen Dong, Daniel
Kang, Shanghang Zhang, Kurt Keutzer
- Abstract要約: ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。
本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。
提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
- 参考スコア（独自算出の注目度）: 52.978047249670276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models have achieved great success in image synthesis through
iterative noise estimation using deep neural networks. However, the slow
inference, high memory consumption, and computation intensity of the noise
estimation model hinder the efficient adoption of diffusion models. Although
post-training quantization (PTQ) is considered a go-to compression method for
other tasks, it does not work out-of-the-box on diffusion models. We propose a
novel PTQ method specifically tailored towards the unique multi-timestep
pipeline and model architecture of the diffusion models, which compresses the
noise estimation network to accelerate the generation process. We identify the
key difficulty of diffusion model quantization as the changing output
distributions of noise estimation networks over multiple time steps and the
bimodal activation distribution of the shortcut layers within the noise
estimation network. We tackle these challenges with timestep-aware calibration
and split shortcut quantization in this work. Experimental results show that
our proposed method is able to quantize full-precision unconditional diffusion
models into 4-bit while maintaining comparable performance (small FID change of
at most 2.34 compared to >100 for traditional PTQ) in a training-free manner.
Our approach can also be applied to text-guided image generation, where we can
run stable diffusion in 4-bit weights with high generation quality for the
first time.
- Abstract（参考訳）: 拡散モデルは深層ニューラルネットワークを用いた反復雑音推定により画像合成において大きな成功を収めた。
しかし、ノイズ推定モデルの低速推論、高メモリ消費、計算強度は拡散モデルの効率的な適用を妨げている。
ポストトレーニング量子化(PTQ)は他のタスクに対するゴーツー圧縮法と考えられているが、拡散モデルではうまく機能しない。
本稿では,ノイズ推定ネットワークを圧縮して生成過程を高速化する拡散モデルの一意なマルチタイムステップパイプラインとモデルアーキテクチャを指向した,新しいptq法を提案する。
拡散モデル量子化の重要な難しさを,複数の時間ステップにわたるノイズ推定ネットワークの出力分布の変化と,ノイズ推定ネットワーク内の近道層のバイモーダル活性化分布と同定する。
本研究では,これらの課題をタイムステップ対応キャリブレーションとショートカット量子化の分割によって解決する。
実験結果から,提案手法は実精度の非条件拡散モデルを4ビットに定量化できるが,従来のPTQでは100>100と同等の性能(FIDの変化は2.34以上)をトレーニング不要に維持できることがわかった。
提案手法はテキスト誘導画像生成にも応用可能であり,4ビット重みの安定拡散を初めて高画質で実行することが可能である。
関連論文リスト
- Timestep-Aware Correction for Quantized Diffusion Models [28.265582848911574]
本稿では,量子化誤差を動的に補正する量子化拡散モデルの時間ステップ対応補正法を提案する。
提案手法を低精度拡散モデルに応用することにより,出力品質の大幅な向上が期待できる。
論文 参考訳（メタデータ） (2024-07-04T13:22:31Z) - 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution [83.09117439860607]
低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。
低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。
本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
論文 参考訳（メタデータ） (2024-06-10T06:06:11Z) - Lossy Image Compression with Foundation Diffusion Models [10.407650300093923]
本研究は,拡散を用いた量子化誤差の除去をデノナイジングタスクとして定式化し,送信された遅延画像の損失情報を復元する。
当社のアプローチでは,完全な拡散生成プロセスの10%未満の実行が可能であり,拡散モデルにアーキテクチャ的な変更は不要である。
論文 参考訳（メタデータ） (2024-04-12T16:23:42Z) - Blue noise for diffusion models [50.99852321110366]
本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。
我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。
本手法を用いて,各種データセットの質的,定量的な評価を行う。
論文 参考訳（メタデータ） (2024-02-07T14:59:25Z) - QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [52.157939524815866]
本稿では,現行手法の有効性を損なう量子拡散モデルの3つの特性を実証的に明らかにする。
重要な時間的情報を保持する層と、ビット幅の低減に敏感な層という、2つの重要なタイプの量子化層を同定する。
提案手法は,3つの高分解能画像生成タスクに対して評価し,様々なビット幅設定で最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-02-06T03:39:44Z) - Memory-Efficient Fine-Tuning for Quantized Diffusion Model [12.875837358532422]
本稿では,量子化拡散モデルのためのメモリ効率の良い微調整手法であるTuneQDMを紹介する。
提案手法は, 単目的/多目的の両方の世代において, ベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2024-01-09T03:42:08Z) - Post-training Quantization for Text-to-Image Diffusion Models with Progressive Calibration and Activation Relaxing [49.800746112114375]
本稿では,テキスト・画像拡散モデルのための学習後量子化手法(プログレッシブ・アンド・リラクシング)を提案する。
我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。
論文 参考訳（メタデータ） (2023-11-10T09:10:09Z) - PTQD: Accurate Post-Training Quantization for Diffusion Models [22.567863065523902]
拡散モデルの学習後の量子化は、モデルのサイズを著しく減らし、再学習することなくサンプリングプロセスを加速することができる。
既存のPTQ法を直接低ビット拡散モデルに適用することは、生成されたサンプルの品質を著しく損なう可能性がある。
本稿では,量子化復調過程における量子化雑音と拡散摂動雑音の統一的な定式化を提案する。
論文 参考訳（メタデータ） (2023-05-18T02:28:42Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳（メタデータ） (2022-06-10T15:09:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。