Fugu-MT 論文翻訳(概要): ThinQuant: Scalable Rotation Learning for Weight and Activation Quantization of LLMs

論文の概要: ThinQuant: Scalable Rotation Learning for Weight and Activation Quantization of LLMs

arxiv url: http://arxiv.org/abs/2609.36120v1
Date: Mon, 28 Sep 2026 18:52:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-30 21:28:46.961171
Title: ThinQuant: Scalable Rotation Learning for Weight and Activation Quantization of LLMs
Title（参考訳）: ThinQuant: LLMの軽量化と活性化量子化のためのスケーラブルな回転学習
Abstract要約: 学習回転は、大きな言語モデルの低ビット重みとアクティベーション量子化を可能にする上で重要な役割を果たす。そこで本研究では, キャリブレーションデータポイントの所要数を削減したデータ選択手法と, このキャリブレーションデータセットの最適化を正確に削減する手法を提案する。低ビット量子化設定において、最先端の回転法よりも数桁のアクティベーションの少ない、慎重に選択されたキャリブレーションセットが、それらの性能に適合することを示す。
参考スコア（独自算出の注目度）: 20.745352886409343
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Learned rotations play an important role in enabling low-bit weight and activation quantization of large language models by smoothing outliers in the activation distribution. State-of-the-art approaches include gradient-based procedures such as SpinQuant and computationally friendlier gradient-free approaches such as DartQuant, but both remain hard to scale to the largest architectures. To address the computational bottlenecks in gradient-free rotation learning, we introduce two ideas for efficiency, (i) a data selection procedure which reduces the required number of calibration data points, and (ii) an exact reduction of the associated optimization on this reduced calibration set. Our data selection procedure exploits the geometric structure of the convex hull of the activations. Using this idea, we show that a carefully selected calibration set with several orders of magnitude fewer activations than state-of-the-art rotation-based methods can match their performance in low-bit quantization settings. Under this extreme data efficiency, the selected activations span an $r$-dimensional subspace with $r<d$, making optimization over a $d\times d$ rotation equivalent to optimizing a $d\times r$ matrix on the Stiefel manifold. We solve this reduced problem using an efficient ADMM algorithm that iteratively employs thin matrix updates at every step, hence the name ThinQuant. For Llama-3-70B with W4A4KV4 quantization, ThinQuant completes the entire rotation calibration in under 12 minutes and achieves a WikiText-2 perplexity of 5.63, compared with 7.55 for DartQuant, which requires 111 minutes. Unlike SpinQuant and DartQuant, ThinQuant also scales to Llama-3.1-405B on a single H200 GPU, completing rotation calibration in just over 2 hours and achieving WikiText-2 perplexity of 2.97 at W4A4, compared with 3.48 for GPTAQ+QuaRoT.
Abstract（参考訳）: 学習された回転は、アクティベーション分布の外れ値の平滑化によって、大きな言語モデルの低ビット重みとアクティベーション量子化を可能にする上で重要な役割を果たす。最先端のアプローチには、SpinQuantのような勾配ベースのプロシージャや、DartQuantのような計算に親しみやすい勾配のないアプローチがあるが、どちらも最大のアーキテクチャにスケールするのは困難である。勾配のない回転学習における計算ボトルネックに対処するために、効率性のための2つのアイデアを紹介した。一校正データポイントの必要な個数を減らしたデータ選択方法 (ii) この縮小校正セットにおける関連する最適化の正確な削減。我々のデータ選択法は, アクティベーションの凸殻の幾何学的構造を利用する。このアイデアを用いることで、最先端の回転法よりも数桁少ないアクティベーションを持つ慎重に選択されたキャリブレーションセットが、低ビット量子化設定におけるそれらの性能と一致することを示す。この極端なデータ効率の下では、選択されたアクティベーションは$r$-次元部分空間に$r<d$で、スティフェル多様体上の$d\times r$行列の最適化と等価な$d\times d$回転を最適化する。我々は、各ステップでシンマトリクス更新を反復的に利用する効率的なADMMアルゴリズムを用いて、この削減問題を解決する。 W4A4KV4量子化によるLlama-3-70Bでは、ThinQuantは回転キャリブレーション全体を12分以内で完了し、WikiText-2のパープレキシティは5.63である。 SpinQuantやDartQuantとは異なり、ThinQuantは単一のH200 GPU上でLlama-3.1-405Bにスケールし、2時間以上でローテーションキャリブレーションを完了し、W4A4ではWikiText-2のパープレキシティが2.97であるのに対し、GPTAQ+QuaRoTでは3.48である。

論文の概要: ThinQuant: Scalable Rotation Learning for Weight and Activation Quantization of LLMs

関連論文リスト