論文の概要: MPQ-DM: Mixed Precision Quantization for Extremely Low Bit Diffusion Models

• arxiv url: http://arxiv.org/abs/2412.11549v1
• Date: Mon, 16 Dec 2024 08:31:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:57:02.580025
• Title: MPQ-DM: Mixed Precision Quantization for Extremely Low Bit Diffusion Models
• Title（参考訳）: MPQ-DM:超低ビット拡散モデルのための混合精密量子化
• Authors: Weilun Feng, Haotong Qin, Chuanguang Yang, Zhulin An, Libo Huang, Boyu Diao, Fei Wang, Renshuai Tao, Yongjun Xu, Michele Magno,
• Abstract要約: 本稿では,拡散モデルのための混合精度量子化法MPQ-DMを提案する。 重み付き外周波による量子化誤差を軽減するために,外周波混合量子化手法を提案する。 時間ステップを横断する表現を頑健に学習するために,時間-平滑な関係蒸留方式を構築した。
• 参考スコア（独自算出の注目度）: 37.061975191553
• License:
• Abstract: Diffusion models have received wide attention in generation tasks. However, the expensive computation cost prevents the application of diffusion models in resource-constrained scenarios. Quantization emerges as a practical solution that significantly saves storage and computation by reducing the bit-width of parameters. However, the existing quantization methods for diffusion models still cause severe degradation in performance, especially under extremely low bit-widths (2-4 bit). The primary decrease in performance comes from the significant discretization of activation values at low bit quantization. Too few activation candidates are unfriendly for outlier significant weight channel quantization, and the discretized features prevent stable learning over different time steps of the diffusion model. This paper presents MPQ-DM, a Mixed-Precision Quantization method for Diffusion Models. The proposed MPQ-DM mainly relies on two techniques:(1) To mitigate the quantization error caused by outlier severe weight channels, we propose an Outlier-Driven Mixed Quantization (OMQ) technique that uses $Kurtosis$ to quantify outlier salient channels and apply optimized intra-layer mixed-precision bit-width allocation to recover accuracy performance within target efficiency.(2) To robustly learn representations crossing time steps, we construct a Time-Smoothed Relation Distillation (TRD) scheme between the quantized diffusion model and its full-precision counterpart, transferring discrete and continuous latent to a unified relation space to reduce the representation inconsistency. Comprehensive experiments demonstrate that MPQ-DM achieves significant accuracy gains under extremely low bit-widths compared with SOTA quantization methods. MPQ-DM achieves a 58\% FID decrease under W2A4 setting compared with baseline, while all other methods even collapse.
• Abstract（参考訳）: 拡散モデルは世代タスクで広く注目を集めている。 しかし、高価な計算コストは、資源制約のあるシナリオにおける拡散モデルの適用を妨げている。 量子化は、パラメータのビット幅を小さくすることで、ストレージと計算を大幅に節約する実用的なソリューションとして現れる。 しかし、既存の拡散モデルの量子化法は、特に非常に低ビット幅(2-4ビット)で性能が著しく低下する。 主な性能低下は、低ビット量子化時のアクティベーション値の大幅な離散化による。 アクティベーション候補が多すぎると、外周的な重みチャネル量子化に不向きになり、離散化された特徴は拡散モデルの異なる時間ステップでの安定した学習を妨げる。 本稿では,拡散モデルのための混合精度量子化法MPQ-DMを提案する。 提案するMPQ-DMは, 主に2つの手法に依存している。(1) 外れ値重み付き重み付きチャネルによる量子化誤差を軽減するために, $Kurtosis$ を用いて外れ値の有意なチャネルを定量化し, 最適化された層内混合ビット幅割り当てを適用して目標効率の精度を回復する, アウトリー駆動型混合量子化(OMQ)手法を提案する。 2) 時間ステップを横断する表現を頑健に学習するために, 量子化拡散モデルと完全精度モデルとの間の時間平滑な関係蒸留(TRD)スキームを構築し, 離散的かつ連続的な遅延を統一的な関係空間に転送し, 表現の不整合を低減する。 包括的実験により、MPQ-DMは、SOTA量子化法と比較して、極低ビット幅で顕著な精度向上を達成することが示された。 MPQ-DM は W2A4 設定で 58 % FID を減少させるが、他の全ての手法は崩壊する。

関連論文リスト

• Timestep-Aware Correction for Quantized Diffusion Models [28.265582848911574]
  本稿では,量子化誤差を動的に補正する量子化拡散モデルの時間ステップ対応補正法を提案する。 提案手法を低精度拡散モデルに応用することにより,出力品質の大幅な向上が期待できる。
  論文  参考訳（メタデータ） (2024-07-04T13:22:31Z)
• 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution [83.09117439860607]
  低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。 低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。 本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T06:06:11Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [52.157939524815866]
  本稿では,現行手法の有効性を損なう量子拡散モデルの3つの特性を実証的に明らかにする。 重要な時間的情報を保持する層と、ビット幅の低減に敏感な層という、2つの重要なタイプの量子化層を同定する。 提案手法は,3つの高分解能画像生成タスクに対して評価し,様々なビット幅設定で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-02-06T03:39:44Z)
• EDA-DM: Enhanced Distribution Alignment for Post-Training Quantization of Diffusion Models [4.21216544443537]
  量子化はモデルの複雑性を効果的に低減し、後学習量子化(PTQ)は拡散モデルの圧縮と加速に非常に有望である。 既存の拡散モデルのPTQ法は, キャリブレーションサンプルレベルと再構成出力レベルの両方の分布ミスマッチ問題に悩まされている。 本稿では,拡散モデル(EDA-DM)の学習後量子化のための分散アライメントの強化について述べる。
  論文  参考訳（メタデータ） (2024-01-09T14:42:49Z)
• Post-training Quantization for Text-to-Image Diffusion Models with Progressive Calibration and Activation Relaxing [49.800746112114375]
  本稿では,テキスト・画像拡散モデルのための学習後量子化手法(プログレッシブ・アンド・リラクシング)を提案する。 我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。
  論文  参考訳（メタデータ） (2023-11-10T09:10:09Z)
• PTQD: Accurate Post-Training Quantization for Diffusion Models [22.567863065523902]
  拡散モデルの学習後の量子化は、モデルのサイズを著しく減らし、再学習することなくサンプリングプロセスを加速することができる。 既存のPTQ法を直接低ビット拡散モデルに適用することは、生成されたサンプルの品質を著しく損なう可能性がある。 本稿では,量子化復調過程における量子化雑音と拡散摂動雑音の統一的な定式化を提案する。
  論文  参考訳（メタデータ） (2023-05-18T02:28:42Z)
• Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
  ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。 本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。 提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
  論文  参考訳（メタデータ） (2023-02-08T19:38:59Z)
• DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
  画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。 高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。