論文の概要: PQCAD-DM: Progressive Quantization and Calibration-Assisted Distillation for Extremely Efficient Diffusion Model

• arxiv url: http://arxiv.org/abs/2506.16776v1
• Date: Fri, 20 Jun 2025 06:43:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.355975
• Title: PQCAD-DM: Progressive Quantization and Calibration-Assisted Distillation for Extremely Efficient Diffusion Model
• Title（参考訳）: PQCAD-DM:超高効率拡散モデルのための進行量子化とキャリブレーション支援蒸留
• Authors: Beomseok Ko, Hyeryung Jang,
• Abstract要約: 拡散モデルは画像生成において優れているが、計算と資源集約である。 PQ(Progressive Quantization)とCAD補助蒸留(CAD)を組み合わせた新しいハイブリッド圧縮フレームワークであるPQCAD-DMを提案する。 PQは、運動量に基づくメカニズムで導かれる適応ビット幅遷移を持つ2段階の量子化を採用し、低精度での過剰な重みの摂動を低減する。
• 参考スコア（独自算出の注目度）: 8.195126516665914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models excel in image generation but are computational and resource-intensive due to their reliance on iterative Markov chain processes, leading to error accumulation and limiting the effectiveness of naive compression techniques. In this paper, we propose PQCAD-DM, a novel hybrid compression framework combining Progressive Quantization (PQ) and Calibration-Assisted Distillation (CAD) to address these challenges. PQ employs a two-stage quantization with adaptive bit-width transitions guided by a momentum-based mechanism, reducing excessive weight perturbations in low-precision. CAD leverages full-precision calibration datasets during distillation, enabling the student to match full-precision performance even with a quantized teacher. As a result, PQCAD-DM achieves a balance between computational efficiency and generative quality, halving inference time while maintaining competitive performance. Extensive experiments validate PQCAD-DM's superior generative capabilities and efficiency across diverse datasets, outperforming fixed-bit quantization methods.
• Abstract（参考訳）: 拡散モデルは画像生成に優れるが、反復マルコフ連鎖プロセスに依存しているため計算と資源集約であり、誤りの蓄積と単純圧縮技術の有効性の制限につながる。 本稿では,PQ(Progressive Quantization)とCAD(Calibration-Assisted Distillation)を組み合わせた新しいハイブリッド圧縮フレームワークであるPQCAD-DMを提案する。 PQは、運動量に基づくメカニズムで導かれる適応ビット幅遷移を持つ2段階の量子化を採用し、低精度での過剰な重みの摂動を低減する。 CADは蒸留中の完全精度校正データセットを活用し、学生は量子化された教師とも完全精度のパフォーマンスを一致させることができる。 その結果、PQCAD-DMは計算効率と生成品質のバランスを保ち、競合性能を維持しつつ推論時間を半減する。 広範囲な実験により、PQCAD-DMの優れた生成能力と多種多様なデータセット間の効率性を検証し、固定ビット量子化法より優れている。

関連論文リスト

• Q&C: When Quantization Meets Cache in Efficient Image Generation [24.783679431414686]
  拡散変換器(DiT)の量子化とキャッシュ機構の組み合わせは簡単ではない。 本稿では,上記の課題に対処してハイブリッド加速法を提案する。 競合生成能力を保ちながら,DiTsを12.7倍高速化した。
  論文  参考訳（メタデータ） (2025-03-04T11:19:02Z)
• Efficiency Meets Fidelity: A Novel Quantization Framework for Stable Diffusion [9.402892455344677]
  安定拡散モデル(SDM)のための効率的な量子化フレームワークを提案する。 我々のフレームワークはトレーニングと推論の一貫性を同時に維持し、最適化の安定性を確保する。 本手法は,訓練時間を短縮した最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-09T17:00:20Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• Post-training Quantization for Text-to-Image Diffusion Models with Progressive Calibration and Activation Relaxing [49.800746112114375]
  本稿では,テキスト・画像拡散モデルのための学習後量子化手法(プログレッシブ・アンド・リラクシング)を提案する。 我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。
  論文  参考訳（メタデータ） (2023-11-10T09:10:09Z)
• EfficientDM: Efficient Quantization-Aware Fine-Tuning of Low-Bit Diffusion Models [21.17675493267517]
  ポストトレーニング量子化(PTQ)と量子化学習(QAT)は、拡散モデルを圧縮・加速する2つの主要なアプローチである。 我々は、PTQのような効率でQATレベルの性能を実現するために、EfficientDMと呼ばれる低ビット拡散モデルのためのデータフリーかつパラメータ効率の微調整フレームワークを導入する。 提案手法は, PTQに基づく拡散モデルにおいて, 同様の時間とデータ効率を保ちながら, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-10-05T02:51:53Z)
• Weight Re-Mapping for Variational Quantum Algorithms [54.854986762287126]
  変動量子回路(VQC)における重み付けの考え方を紹介する。 我々は,8つの分類データセットに対する影響を評価するために,7つの異なる重み再マッピング関数を用いる。 以上の結果から,重量再マッピングによりVQCの収束速度が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T09:42:21Z)
• Teacher Intervention: Improving Convergence of Quantization Aware Training for Ultra-Low Precision Transformers [17.445202457319517]
  量子化対応トレーニング(QAT)は、実装コストとエネルギー消費を減らすための有望な方法である。 本研究は,超高精度事前学習型変圧器の高速収束QATのための,TI(Teacher Intervention)と呼ばれる能動的知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2023-02-23T06:48:24Z)
• CSQ: Growing Mixed-Precision Quantization Scheme with Bi-level Continuous Sparsification [51.81850995661478]
  混合精度量子化はディープニューラルネットワーク(DNN)に広く応用されている トレーニング中のビットレベル正規化とプルーニングに基づく動的精度調整の試みは、ノイズ勾配と不安定収束に悩まされている。 安定度を向上した混合精度量子化スキームを探索するビットレベル学習法である連続スカラー化量子化(CSQ)を提案する。
  論文  参考訳（メタデータ） (2022-12-06T05:44:21Z)
• DQ-BART: Efficient Sequence-to-Sequence Model via Joint Distillation and Quantization [75.72231742114951]
  BARTやT5のような大規模事前学習シーケンス・ツー・シーケンスモデルは、多くの生成NLPタスクで最先端のパフォーマンスを達成する。 これらのモデルは、大きなメモリ要件と高いレイテンシのため、リソース制約のあるシナリオにおいて大きな課題となる。 そこで,本論文では,教師モデルから学生モデルへの知識の伝達と,学生モデルの定量化と定量化について提案する。
  論文  参考訳（メタデータ） (2022-03-21T18:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。