論文の概要: HQ-DM: Single Hadamard Transformation-Based Quantization-Aware Training for Low-Bit Diffusion Models

• arxiv url: http://arxiv.org/abs/2512.05746v1
• Date: Fri, 05 Dec 2025 14:28:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-13 22:40:57.057923
• Title: HQ-DM: Single Hadamard Transformation-Based Quantization-Aware Training for Low-Bit Diffusion Models
• Title（参考訳）: HQ-DM:低ビット拡散モデルのための単一アダマール変換に基づく量子化学習
• Authors: Shizhuo Mao, Hongtao Zou, Qihu Xie, Song Chen, Yi Kang,
• Abstract要約: HQ-DMは、活性化行列に単一アダマール変換を適用する新しい量子化対応トレーニングフレームワークである。 このアプローチは、量子化下でのモデル性能を維持しながら、アクティベーションアウトリーを効果的に削減する。 LDM-4モデルを用いたImageNet 256x256データセットの条件生成のために、我々のW4A4およびW4A3量子化スキームは、それぞれインセプションスコアを12.8%改善し、467.73%改善した。
• 参考スコア（独自算出の注目度）: 5.320690460117234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have demonstrated significant applications in the field of image generation. However, their high computational and memory costs pose challenges for deployment. Model quantization has emerged as a promising solution to reduce storage overhead and accelerate inference. Nevertheless, existing quantization methods for diffusion models struggle to mitigate outliers in activation matrices during inference, leading to substantial performance degradation under low-bit quantization scenarios. To address this, we propose HQ-DM, a novel Quantization-Aware Training framework that applies Single Hadamard Transformation to activation matrices. This approach effectively reduces activation outliers while preserving model performance under quantization. Compared to traditional Double Hadamard Transformation, our proposed scheme offers distinct advantages by seamlessly supporting INT convolution operations while preventing the amplification of weight outliers. For conditional generation on the ImageNet 256x256 dataset using the LDM-4 model, our W4A4 and W4A3 quantization schemes improve the Inception Score by 12.8% and 467.73%, respectively, over the existing state-of-the-art method.
• Abstract（参考訳）: 拡散モデルは、画像生成の分野で重要な応用を示している。 しかし、その高い計算コストとメモリコストは、デプロイメントに困難をもたらす。 モデル量子化は、ストレージオーバーヘッドを減らし、推論を加速する有望なソリューションとして登場した。 それにもかかわらず、拡散モデルの既存の量子化法は、推論中に活性化行列の外れ値を減らすのに苦労し、低ビット量子化シナリオ下ではかなりの性能低下をもたらす。 そこで本研究では,活性化行列に単一アダマール変換を適用した新しい量子化認識学習フレームワークHQ-DMを提案する。 このアプローチは、量子化下でのモデル性能を維持しながら、アクティベーションアウトリーを効果的に削減する。 従来のDouble Hadamard変換と比較して,本提案方式は,INT畳み込み操作をシームレスにサポートし,ウェイトアウトリーの増幅を防止し,明確な利点を提供する。 LDM-4モデルを用いたImageNet 256x256データセットの条件生成のために、我々のW4A4およびW4A3量子化スキームは、既存の最先端手法よりも、インセプションスコアを12.8%改善し、467.73%改善する。

関連論文リスト

• TCAQ-DM: Timestep-Channel Adaptive Quantization for Diffusion Models [49.65286242048452]
  拡散モデル(TCAQ-DM)のためのタイムステップ・チャネル適応量子化法を提案する。 提案手法は,ほとんどの場合,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-12-21T16:57:54Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [52.157939524815866]
  本稿では,不均衡な活性化分布を量子化困難の原因として同定する。 我々は,これらの分布を,より量子化しやすいように微調整することで調整することを提案する。 本手法は3つの高解像度画像生成タスクに対して有効性を示す。
  論文  参考訳（メタデータ） (2024-02-06T03:39:44Z)
• EfficientDM: Efficient Quantization-Aware Fine-Tuning of Low-Bit Diffusion Models [21.17675493267517]
  ポストトレーニング量子化(PTQ)と量子化学習(QAT)は、拡散モデルを圧縮・加速する2つの主要なアプローチである。 我々は、PTQのような効率でQATレベルの性能を実現するために、EfficientDMと呼ばれる低ビット拡散モデルのためのデータフリーかつパラメータ効率の微調整フレームワークを導入する。 提案手法は, PTQに基づく拡散モデルにおいて, 同様の時間とデータ効率を保ちながら, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-10-05T02:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。