論文の概要: Post-training Quantization for Text-to-Image Diffusion Models with Progressive Calibration and Activation Relaxing

• arxiv url: http://arxiv.org/abs/2311.06322v3
• Date: Mon, 8 Jul 2024 11:02:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 03:18:28.507553
• Title: Post-training Quantization for Text-to-Image Diffusion Models with Progressive Calibration and Activation Relaxing
• Title（参考訳）: プログレッシブキャリブレーションとアクティベーション緩和を考慮したテキスト・画像拡散モデルのポストトレーニング量子化
• Authors: Siao Tang, Xin Wang, Hong Chen, Chaoyu Guan, Zewen Wu, Yansong Tang, Wenwu Zhu,
• Abstract要約: 本稿では,テキスト・画像拡散モデルのための学習後量子化手法(プログレッシブ・アンド・リラクシング)を提案する。 我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。
• 参考スコア（独自算出の注目度）: 49.800746112114375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High computational overhead is a troublesome problem for diffusion models. Recent studies have leveraged post-training quantization (PTQ) to compress diffusion models. However, most of them only focus on unconditional models, leaving the quantization of widely-used pretrained text-to-image models, e.g., Stable Diffusion, largely unexplored. In this paper, we propose a novel post-training quantization method PCR (Progressive Calibration and Relaxing) for text-to-image diffusion models, which consists of a progressive calibration strategy that considers the accumulated quantization error across timesteps, and an activation relaxing strategy that improves the performance with negligible cost. Additionally, we demonstrate the previous metrics for text-to-image diffusion model quantization are not accurate due to the distribution gap. To tackle the problem, we propose a novel QDiffBench benchmark, which utilizes data in the same domain for more accurate evaluation. Besides, QDiffBench also considers the generalization performance of the quantized model outside the calibration dataset. Extensive experiments on Stable Diffusion and Stable Diffusion XL demonstrate the superiority of our method and benchmark. Moreover, we are the first to achieve quantization for Stable Diffusion XL while maintaining the performance.
• Abstract（参考訳）: 高計算オーバーヘッドは拡散モデルにとって厄介な問題である。 最近の研究は、拡散モデルの圧縮にPTQ(Post-training Quantization)を活用している。 しかし、それらのほとんどは無条件モデルにのみ焦点をあてており、広く使われている事前訓練されたテキスト-画像モデル(例えば、安定拡散)の量子化は、ほとんど探索されていない。 本稿では,時間経過の累積量子化誤差を考慮した漸進的キャリブレーション戦略と,無視可能なコストで性能を向上するアクティベーション緩和戦略からなる,テキスト間拡散モデルのためのポストトレーニング量子化法PCR(Progressive Calibration and Relaxing)を提案する。 さらに,従来のテキスト・画像拡散モデルの量子化は分布ギャップのため正確ではないことを示す。 そこで本研究では,同一領域のデータを用いてより正確な評価を行う新しいQDiffBenchベンチマークを提案する。 さらにQDiffBench氏は、キャリブレーションデータセットの外での量子化モデルの一般化性能についても検討している。 安定拡散XLと安定拡散XLの大規模な実験は,本手法とベンチマークの優位性を実証している。 さらに,我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。

関連論文リスト

• Diffusion Product Quantization [18.32568431229839]
  極端圧縮条件下での拡散モデルの量子化について検討し、性能を維持しながらモデルサイズを小さくする。 我々は、ImageNet上のDiTモデルに圧縮法を適用し、他の量子化手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-11-19T07:47:37Z)
• Timestep-Aware Correction for Quantized Diffusion Models [28.265582848911574]
  本稿では,量子化誤差を動的に補正する量子化拡散モデルの時間ステップ対応補正法を提案する。 提案手法を低精度拡散モデルに応用することにより,出力品質の大幅な向上が期待できる。
  論文  参考訳（メタデータ） (2024-07-04T13:22:31Z)
• Lossy Image Compression with Foundation Diffusion Models [10.407650300093923]
  本研究は,拡散を用いた量子化誤差の除去をデノナイジングタスクとして定式化し,送信された遅延画像の損失情報を復元する。 当社のアプローチでは,完全な拡散生成プロセスの10%未満の実行が可能であり,拡散モデルにアーキテクチャ的な変更は不要である。
  論文  参考訳（メタデータ） (2024-04-12T16:23:42Z)
• QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [52.157939524815866]
  本稿では,現行手法の有効性を損なう量子拡散モデルの3つの特性を実証的に明らかにする。 重要な時間的情報を保持する層と、ビット幅の低減に敏感な層という、2つの重要なタイプの量子化層を同定する。 提案手法は,3つの高分解能画像生成タスクに対して評価し,様々なビット幅設定で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-02-06T03:39:44Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• Towards Accurate Post-training Quantization for Diffusion Models [73.19871905102545]
  本稿では,効率的な画像生成のための拡散モデル(ADP-DM)の高精度なデータフリーポストトレーニング量子化フレームワークを提案する。 提案手法は, 拡散モデルの学習後の量子化を, 同様の計算コストで, 非常に大きなマージンで高速化する。
  論文  参考訳（メタデータ） (2023-05-30T04:00:35Z)
• Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
  ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。 本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。 提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
  論文  参考訳（メタデータ） (2023-02-08T19:38:59Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。