論文の概要: Efficiency Meets Fidelity: A Novel Quantization Framework for Stable Diffusion

• arxiv url: http://arxiv.org/abs/2412.06661v1
• Date: Mon, 09 Dec 2024 17:00:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:54:23.422825
• Title: Efficiency Meets Fidelity: A Novel Quantization Framework for Stable Diffusion
• Title（参考訳）: 安定拡散のための新しい量子化フレームワークFidelity
• Authors: Shuaiting Li, Juncan Deng, Zeyu Wang, Hong Gu, Kedong Xu, Haibin Shen, Kejie Huang,
• Abstract要約: 安定拡散モデルのための効率的な量子化フレームワークを提案する。 本手法では,キャリブレーションと推論の両プロセスの整合性に対処するシリアル-パラレルキャリブレーションパイプラインを特徴とする。 W4A8量子化設定では、分布類似性と視覚類似性の両方を45%-60%向上させる。
• 参考スコア（独自算出の注目度）: 9.8078769718432
• License:
• Abstract: Text-to-image generation of Stable Diffusion models has achieved notable success due to its remarkable generation ability. However, the repetitive denoising process is computationally intensive during inference, which renders Diffusion models less suitable for real-world applications that require low latency and scalability. Recent studies have employed post-training quantization (PTQ) and quantization-aware training (QAT) methods to compress Diffusion models. Nevertheless, prior research has often neglected to examine the consistency between results generated by quantized models and those from floating-point models. This consistency is crucial in fields such as content creation, design, and edge deployment, as it can significantly enhance both efficiency and system stability for practitioners. To ensure that quantized models generate high-quality and consistent images, we propose an efficient quantization framework for Stable Diffusion models. Our approach features a Serial-to-Parallel calibration pipeline that addresses the consistency of both the calibration and inference processes, as well as ensuring training stability. Based on this pipeline, we further introduce a mix-precision quantization strategy, multi-timestep activation quantization, and time information precalculation techniques to ensure high-fidelity generation in comparison to floating-point models. Through extensive experiments with Stable Diffusion v1-4, v2-1, and XL 1.0, we have demonstrated that our method outperforms the current state-of-the-art techniques when tested on prompts from the COCO validation dataset and the Stable-Diffusion-Prompts dataset. Under W4A8 quantization settings, our approach enhances both distribution similarity and visual similarity by 45%-60%.
• Abstract（参考訳）: 安定拡散モデルのテキスト・ツー・イメージ生成は、その顕著な生成能力によって顕著な成功を収めた。 しかし、反復的なデノベーションプロセスは推論中に計算集約的であり、低レイテンシとスケーラビリティを必要とする現実のアプリケーションにはディフュージョンモデルは適さない。 近年の研究では、拡散モデルを圧縮するために、PTQ(Post-training Quantization)とQAT(Quantization-Aware Training)手法が採用されている。 それにもかかわらず、先行研究は量子化モデルと浮動小数点モデルによる結果の整合性を調べるためにしばしば無視されてきた。 この一貫性は、コンテンツ作成、設計、エッジデプロイメントといった分野において重要であり、実践者にとって効率性とシステムの安定性の両方を大幅に向上させることができる。 量子化モデルが高品質で一貫した画像を生成することを保証するため、安定拡散モデルのための効率的な量子化フレームワークを提案する。 我々のアプローチは、キャリブレーションと推論の両方のプロセスの一貫性に対処し、トレーニング安定性を確保するシリアル-パラレルキャリブレーションパイプラインを備えている。 このパイプラインに基づいて、浮動小数点モデルと比較して高忠実度生成を保証するため、混合精度量子化戦略、マルチステップアクティベーション量子化、時間情報事前計算技術を導入する。 安定拡散 v1-4, v2-1, XL 1.0 を用いた広範囲な実験により,COCO 検証データセットと安定拡散プロンプツデータセットのプロンプトで試験した場合,本手法が現在の最先端技術よりも優れていることを示した。 W4A8量子化設定では、分布類似性と視覚類似性の両方を45%-60%向上させる。

関連論文リスト

• PQD: Post-training Quantization for Efficient Diffusion Models [4.809939957401427]
  拡散モデル(PQD)のための新しい学習後量子化法を提案する。 提案手法は,完全精度拡散モデルを直接8ビット,4ビットモデルに量子化することができる。
  論文  参考訳（メタデータ） (2024-12-30T19:55:59Z)
• TCAQ-DM: Timestep-Channel Adaptive Quantization for Diffusion Models [49.65286242048452]
  拡散モデル(TCAQ-DM)のためのタイムステップ・チャネル適応量子化法を提案する。 提案手法は,ほとんどの場合,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-12-21T16:57:54Z)
• MPQ-DM: Mixed Precision Quantization for Extremely Low Bit Diffusion Models [37.061975191553]
  本稿では,拡散モデルのための混合精度量子化法MPQ-DMを提案する。 重み付き外周波による量子化誤差を軽減するために,外周波混合量子化手法を提案する。 時間ステップを横断する表現を頑健に学習するために,時間-平滑な関係蒸留方式を構築した。
  論文  参考訳（メタデータ） (2024-12-16T08:31:55Z)
• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [52.157939524815866]
  本稿では,現行手法の有効性を損なう量子拡散モデルの3つの特性を実証的に明らかにする。 重要な時間的情報を保持する層と、ビット幅の低減に敏感な層という、2つの重要なタイプの量子化層を同定する。 提案手法は,3つの高分解能画像生成タスクに対して評価し,様々なビット幅設定で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-02-06T03:39:44Z)
• Post-training Quantization for Text-to-Image Diffusion Models with Progressive Calibration and Activation Relaxing [49.800746112114375]
  本稿では,テキスト・画像拡散モデルのための学習後量子化手法(プログレッシブ・アンド・リラクシング)を提案する。 我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。
  論文  参考訳（メタデータ） (2023-11-10T09:10:09Z)
• EfficientDM: Efficient Quantization-Aware Fine-Tuning of Low-Bit Diffusion Models [21.17675493267517]
  ポストトレーニング量子化(PTQ)と量子化学習(QAT)は、拡散モデルを圧縮・加速する2つの主要なアプローチである。 我々は、PTQのような効率でQATレベルの性能を実現するために、EfficientDMと呼ばれる低ビット拡散モデルのためのデータフリーかつパラメータ効率の微調整フレームワークを導入する。 提案手法は, PTQに基づく拡散モデルにおいて, 同様の時間とデータ効率を保ちながら, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-10-05T02:51:53Z)
• Towards Accurate Post-training Quantization for Diffusion Models [73.19871905102545]
  本稿では,効率的な画像生成のための拡散モデル(ADP-DM)の高精度なデータフリーポストトレーニング量子化フレームワークを提案する。 提案手法は, 拡散モデルの学習後の量子化を, 同様の計算コストで, 非常に大きなマージンで高速化する。
  論文  参考訳（メタデータ） (2023-05-30T04:00:35Z)
• Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
  ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。 本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。 提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
  論文  参考訳（メタデータ） (2023-02-08T19:38:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。