Fugu-MT 論文翻訳(概要): SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models

論文の概要: SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models

arxiv url: http://arxiv.org/abs/2411.05007v2
Date: Fri, 08 Nov 2024 18:32:59 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-11 11:36:08.854585
Title: SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models
Title（参考訳）: SVDQuant:4ビット拡散モデルのための低ランク成分による外周吸収
Authors: Muyang Li, Yujun Lin, Zhekai Zhang, Tianle Cai, Xiuyu Li, Junxian Guo, Enze Xie, Chenlin Meng, Jun-Yan Zhu, Song Han,
Abstract要約: 拡散モデルは高品質な画像を生成するのに非常に効果的であることが証明されている。これらのモデルが大きくなるにつれて、メモリが大幅に増加し、レイテンシの低下に悩まされる。本研究では,その重みとアクティベーションを4ビットに定量化し,拡散モデルの高速化を目指す。
参考スコア（独自算出の注目度）: 58.5019443418822
License:
Abstract: Diffusion models have been proven highly effective at generating high-quality images. However, as these models grow larger, they require significantly more memory and suffer from higher latency, posing substantial challenges for deployment. In this work, we aim to accelerate diffusion models by quantizing their weights and activations to 4 bits. At such an aggressive level, both weights and activations are highly sensitive, where conventional post-training quantization methods for large language models like smoothing become insufficient. To overcome this limitation, we propose SVDQuant, a new 4-bit quantization paradigm. Different from smoothing which redistributes outliers between weights and activations, our approach absorbs these outliers using a low-rank branch. We first consolidate the outliers by shifting them from activations to weights, then employ a high-precision low-rank branch to take in the weight outliers with Singular Value Decomposition (SVD). This process eases the quantization on both sides. However, na\"{\i}vely running the low-rank branch independently incurs significant overhead due to extra data movement of activations, negating the quantization speedup. To address this, we co-design an inference engine Nunchaku that fuses the kernels of the low-rank branch into those of the low-bit branch to cut off redundant memory access. It can also seamlessly support off-the-shelf low-rank adapters (LoRAs) without the need for re-quantization. Extensive experiments on SDXL, PixArt-$\Sigma$, and FLUX.1 validate the effectiveness of SVDQuant in preserving image quality. We reduce the memory usage for the 12B FLUX.1 models by 3.5$\times$, achieving 3.0$\times$ speedup over the 4-bit weight-only quantized baseline on the 16GB laptop 4090 GPU, paving the way for more interactive applications on PCs. Our quantization library and inference engine are open-sourced.
Abstract（参考訳）: 拡散モデルは高品質な画像を生成するのに非常に効果的であることが証明されている。しかしながら、これらのモデルが大きくなるにつれて、メモリが大幅に増加し、レイテンシの低下に悩まされ、デプロイメントに重大な課題が生じる。本研究では,その重みとアクティベーションを4ビットに定量化し,拡散モデルの高速化を目指す。このような攻撃的なレベルでは、ウェイトとアクティベーションのどちらも非常に敏感であり、スムージングのような大規模言語モデルに対する従来の訓練後の量子化手法は不十分である。この制限を克服するために,新たな4ビット量子化パラダイムであるSVDQuantを提案する。ウェイトとアクティベーションの間にアウトリールを再分配するスムースティングとは異なり,本手法は低ランク分岐を用いてこれらのアウトリールを吸収する。まず, アクティベーションからウェイトへのシフトにより, オフレイアを集約し, 次いで, Singular Value Decomposition (SVD) を用いて, 高精度の低ランク分岐を用いて, オフレイアを重み付けする。このプロセスは両面の量子化を容易にする。しかし、na\"{\i} が独立してローランクブランチを走らせると、アクティベーションの余分なデータ移動によって大きなオーバーヘッドが発生し、量子化のスピードアップが無視される。これを解決するために、低ランクブランチのカーネルを低ビットブランチのカーネルに融合させて冗長メモリアクセスを遮断する推論エンジンであるNunchakuを共同設計する。また、再量子化を必要とせずに、市販のローランクアダプタ(LoRA)をシームレスにサポートできる。 SDXL、PixArt-$\Sigma$、FLUX.1の大規模な実験は、画像品質の保存におけるSVDQuantの有効性を検証する。我々は、12B FLUX.1モデルのメモリ使用量を3.5$\times$で減らし、3.0$\times$で16GBのラップトップ4090 GPUの4ビットの量子化ベースラインをスピードアップし、PC上でよりインタラクティブなアプリケーションを実現する。我々の量子化ライブラリと推論エンジンはオープンソースです。

論文の概要: SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models

関連論文リスト