論文の概要: PTQD: Accurate Post-Training Quantization for Diffusion Models

• arxiv url: http://arxiv.org/abs/2305.10657v2
• Date: Wed, 7 Jun 2023 02:21:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 18:25:46.868701
• Title: PTQD: Accurate Post-Training Quantization for Diffusion Models
• Title（参考訳）: PTQD:拡散モデルのための正確な後処理量子化
• Authors: Yefei He, Luping Liu, Jing Liu, Weijia Wu, Hong Zhou, Bohan Zhuang
• Abstract要約: 拡散モデルの学習後の量子化は、モデルのサイズを大幅に減らし、サンプリングプロセスを加速することができる。 既存の学習後量子化手法を低ビット拡散モデルに直接適用することは、生成されたサンプルの品質を著しく損なう可能性がある。 本稿では,量子化復調過程における量子化雑音と拡散摂動雑音の統一的な定式化を提案する。
• 参考スコア（独自算出の注目度）: 14.635927139080746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have recently dominated image synthesis and other related generative tasks. However, the iterative denoising process is expensive in computations at inference time, making diffusion models less practical for low-latency and scalable real-world applications. Post-training quantization of diffusion models can significantly reduce the model size and accelerate the sampling process without requiring any re-training. Nonetheless, applying existing post-training quantization methods directly to low-bit diffusion models can significantly impair the quality of generated samples. Specifically, for each denoising step, quantization noise leads to deviations in the estimated mean and mismatches with the predetermined variance schedule. Moreover, as the sampling process proceeds, the quantization noise may accumulate, resulting in a low signal-to-noise ratio (SNR) in late denoising steps. To address these challenges, we propose a unified formulation for the quantization noise and diffusion perturbed noise in the quantized denoising process. We first disentangle the quantization noise into its correlated and residual uncorrelated parts regarding its full-precision counterpart. The correlated part can be easily corrected by estimating the correlation coefficient. For the uncorrelated part, we calibrate the denoising variance schedule to absorb the excess variance resulting from quantization. Moreover, we propose a mixed-precision scheme to choose the optimal bitwidth for each denoising step, which prefers low bits to accelerate the early denoising steps while high bits maintain the high SNR for the late steps. Extensive experiments demonstrate that our method outperforms previous post-training quantized diffusion models in generating high-quality samples, with only a 0.06 increase in FID score compared to full-precision LDM-4 on ImageNet 256x256, while saving 19.9x bit operations.
• Abstract（参考訳）: 拡散モデルは最近、画像合成やその他の関連する生成タスクを支配している。 しかし、反復的復調処理は推論時の計算に高価であり、低レイテンシでスケーラブルな実世界のアプリケーションでは拡散モデルが実用的でない。 拡散モデルのトレーニング後の量子化は、モデルサイズを大幅に削減し、再トレーニングを必要とせずにサンプリングプロセスを高速化することができる。 それでも、既存の学習後量子化法を低ビット拡散モデルに直接適用することは、生成したサンプルの品質を著しく損なう可能性がある。 具体的には、分別ステップ毎に、量子化ノイズが推定平均の偏差を生じさせ、所定の分散スケジュールとミスマッチする。 さらに、サンプリングプロセスが進むにつれて、量子化ノイズが蓄積され、遅延復調ステップにおいて信号対雑音比(SNR)が低くなる。 そこで本研究では, 量子化雑音と拡散摂動雑音を統一的に定式化する手法を提案する。 まず, 量子化雑音を, 相関部分と残差部分に分けて, その全精度部分について検討する。 相関係数を推定することにより、相関部を容易に補正することができる。 非相関部分については、偏極分散スケジュールを校正し、量子化による過剰な分散を吸収する。 さらに,高ビットが高snrを後期ステップに維持している間,低ビットを早期のデノージングステップの高速化に好むデノージングステップ毎に最適なビット幅を選択するための混合精度スキームを提案する。 広範な実験により,imagenet 256x256 のフル精度 ldm-4 と比較して,高品質のサンプル生成において,前回のトレーニング後の量子化拡散モデルよりも優れており,fid スコアは 0.06 % 向上し,19.9 倍の演算を節約できることを示した。

関連論文リスト

• Timestep-Aware Correction for Quantized Diffusion Models [28.265582848911574]
  本稿では,量子化誤差を動的に補正する量子化拡散モデルの時間ステップ対応補正法を提案する。 提案手法を低精度拡散モデルに応用することにより,出力品質の大幅な向上が期待できる。
  論文  参考訳（メタデータ） (2024-07-04T13:22:31Z)
• QNCD: Quantization Noise Correction for Diffusion Models [15.189069680672239]
  拡散モデルは画像合成に革命をもたらし、品質と創造性の新しいベンチマークを設定した。 トレーニング後の量子化は、サンプルの品質を犠牲にしてサンプリングを加速するソリューションを提供する。 サンプリング過程を通して量子化ノイズを最小化することを目的とした量子化ノイズ補正方式(QNCD)を導入する。
  論文  参考訳（メタデータ） (2024-03-28T04:24:56Z)
• Blue noise for diffusion models [50.99852321110366]
  本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。 我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。 本手法を用いて,各種データセットの質的,定量的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-07T14:59:25Z)
• Post-training Quantization for Text-to-Image Diffusion Models with Progressive Calibration and Activation Relaxing [49.800746112114375]
  本稿では,テキスト・画像拡散モデルのための学習後量子化手法(プログレッシブ・アンド・リラクシング)を提案する。 我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。
  論文  参考訳（メタデータ） (2023-11-10T09:10:09Z)
• Towards Accurate Post-training Quantization for Diffusion Models [73.19871905102545]
  本稿では,効率的な画像生成のための拡散モデル(ADP-DM)の高精度なデータフリーポストトレーニング量子化フレームワークを提案する。 提案手法は, 拡散モデルの学習後の量子化を, 同様の計算コストで, 非常に大きなマージンで高速化する。
  論文  参考訳（メタデータ） (2023-05-30T04:00:35Z)
• Parallel Sampling of Diffusion Models [76.3124029406809]
  拡散モデルは強力な生成モデルであるが、サンプリングが遅い。 そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:42Z)
• Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
  ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。 本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。 提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
  論文  参考訳（メタデータ） (2023-02-08T19:38:59Z)
• Error-aware Quantization through Noise Tempering [43.049102196902844]
  量子化対応トレーニング(QAT)は、量子化エラーをシミュレートしながら、エンドタスクに関するモデルパラメータを最適化する。 本研究では,指数関数的に減衰する量子化・エラー認識ノイズと,学習可能なタスク損失勾配のスケールを組み込んで量子化演算子の効果を近似する。 本手法は, 従来の手法を0.5-1.2%絶対値で上回り, 均一な(非混合精度)量子化のための最先端トップ1分類精度を得る。
  論文  参考訳（メタデータ） (2022-12-11T20:37:50Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。