論文の概要: AQUATIC-Diff: Additive Quantization for Truly Tiny Compressed Diffusion Models
- arxiv url: http://arxiv.org/abs/2506.05960v2
- Date: Mon, 09 Jun 2025 08:44:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 14:13:04.168978
- Title: AQUATIC-Diff: Additive Quantization for Truly Tiny Compressed Diffusion Models
- Title（参考訳）: AQUATIC-Diff:Truly Tiny Compressed Diffusion Modelの加算量子化
- Authors: Adil Hasan, Thomas Peyrin,
- Abstract要約: この研究は、拡散モデル圧縮の問題にコードブックベースの加算ベクトル量子化を適用する。
We report sFID 1.92 points lower than the full-precision model at W4A8 and the best-reported results for FID, sFID and ISC at W2A8。
また、効率的な推論カーネルを介して、任意のハードウェア上でFLOPの節約を実証することができる。
- 参考スコア（独自算出の注目度）: 4.373803477995854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Significant investments have been made towards the commodification of diffusion models for generation of diverse media. Their mass-market adoption is however still hobbled by the intense hardware resource requirements of diffusion model inference. Model quantization strategies tailored specifically towards diffusion models have been useful in easing this burden, yet have generally explored the Uniform Scalar Quantization (USQ) family of quantization methods. In contrast, Vector Quantization (VQ) methods, which operate on groups of multiple related weights as the basic unit of compression, have seen substantial success in Large Language Model (LLM) quantization. In this work, we apply codebook-based additive vector quantization to the problem of diffusion model compression. Our resulting approach achieves a new Pareto frontier for the extremely low-bit weight quantization on the standard class-conditional benchmark of LDM-4 on ImageNet at 20 inference time steps. Notably, we report sFID 1.92 points lower than the full-precision model at W4A8 and the best-reported results for FID, sFID and ISC at W2A8. We are also able to demonstrate FLOPs savings on arbitrary hardware via an efficient inference kernel, as opposed to savings resulting from small integer operations which may lack broad hardware support.
- Abstract（参考訳）: 多様なメディアの生成のための拡散モデルのコモディフィケーションに向けた重要な投資がなされている。
しかし、彼らの大衆市場への導入は、拡散モデル推論のハードウェアリソースの厳しい要求によって、いまだに混乱している。
拡散モデルに特化して調整されたモデル量子化戦略は、この負担を軽減するのに有用であるが、一般に統一スカラー量子化(USQ)系の量子化法を探求している。
対照的に、圧縮の基本単位として複数の重みの群で動作するベクトル量子化(VQ)法は、Large Language Model(LLM)量子化においてかなりの成功を収めている。
本研究では,拡散モデル圧縮の問題に対して,コードブックに基づく加算ベクトル量子化を適用する。
提案手法は,画像ネット上でのLDM-4の標準クラス条件ベンチマークにおいて,20ステップで超低ビット量量子化のための新しいParetoフロンティアを実現する。
特に、W4A8の完全精度モデルよりもsFID 1.92ポイント低く、W2A8のFID、sFID、ICCの最良の報告結果が報告されている。
また,ハードウェアサポートが不十分な整数演算による削減とは対照的に,効率的な推論カーネルを通じて任意のハードウェア上でのFLOPの節約を実証することができる。
関連論文リスト
- TCAQ-DM: Timestep-Channel Adaptive Quantization for Diffusion Models [49.65286242048452]
拡散モデル(TCAQ-DM)のためのタイムステップ・チャネル適応量子化法を提案する。
提案手法は,ほとんどの場合,最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2024-12-21T16:57:54Z) - MPQ-DM: Mixed Precision Quantization for Extremely Low Bit Diffusion Models [37.061975191553]
本稿では,拡散モデルのための混合精度量子化法MPQ-DMを提案する。
重み付き外周波による量子化誤差を軽減するために,外周波混合量子化手法を提案する。
時間ステップを横断する表現を頑健に学習するために,時間-平滑な関係蒸留方式を構築した。
論文 参考訳（メタデータ） (2024-12-16T08:31:55Z) - Diffusion Product Quantization [18.32568431229839]
極端圧縮条件下での拡散モデルの量子化について検討し、性能を維持しながらモデルサイズを小さくする。
我々は、ImageNet上のDiTモデルに圧縮法を適用し、他の量子化手法よりも一貫して優れています。
論文 参考訳（メタデータ） (2024-11-19T07:47:37Z) - Q-DiT: Accurate Post-Training Quantization for Diffusion Transformers [45.762142897697366]
ポストトレーニング量子化(PTQ)は有望なソリューションとして登場し、事前訓練されたモデルに対するモデル圧縮と高速化推論を可能にする。
DiT量子化の研究は依然として不十分であり、既存のPTQフレームワークは偏りのある量子化に悩まされがちである。
入力チャネル間での重みとアクティベーションの有意な分散を扱うための自動量子化粒度割当と、タイムステップとサンプルの両方にわたるアクティベーション変化を適応的にキャプチャする標本ワイド動的アクティベーション量子化という、2つの重要な手法をシームレスに統合する新しいアプローチであるQ-DiTを提案する。
論文 参考訳（メタデータ） (2024-06-25T07:57:27Z) - Post-training Quantization for Text-to-Image Diffusion Models with Progressive Calibration and Activation Relaxing [49.800746112114375]
本稿では,テキスト・画像拡散モデルのための学習後量子化手法(プログレッシブ・アンド・リラクシング)を提案する。
我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。
論文 参考訳（メタデータ） (2023-11-10T09:10:09Z) - FPTQ: Fine-grained Post-Training Quantization for Large Language Models [28.11564378745513]
利用可能なオープンソースLLMのための新しいW4A8ポストトレーニング量子化法を提案する。
我々は,BLOOM,LLaMA,LLaMA-2における最先端のW4A8量子化性能を標準ベンチマークで取得する。
論文 参考訳（メタデータ） (2023-08-30T12:18:18Z) - SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。
学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。
本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文 参考訳（メタデータ） (2023-06-13T08:57:54Z) - Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。
本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。
提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
論文 参考訳（メタデータ） (2023-02-08T19:38:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。