論文の概要: SpectrumQuant: Spectrum Alignment for LLM Quantization

• arxiv url: http://arxiv.org/abs/2610.20303v1
• Date: Wed, 14 Oct 2026 14:54:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.210526
• Title: SpectrumQuant: Spectrum Alignment for LLM Quantization
• Title（参考訳）: SpectrumQuant: LLM量子化のためのスペクトルアライメント
• Abstract要約: 本研究では,データに依存しない構造回転と学習回転とのギャップを埋めるため,SpectrumQuantを提案する。 LlamaとMistralの実験は、SpectrumQuantが最先端のローテーション戦略と競合していることを示している。
• 参考スコア（独自算出の注目度）: 11.764533904734783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Orthogonal transforms have emerged as an effective tool for low-bit quantization of large language models (LLMs), as they reshape activation distributions without changing the underlying model function. Existing approaches typically rely either on fixed data-agnostic transforms, such as Hadamard rotations, or on calibration-time optimization of learned rotations. We study rotation selection from first principles and show that maximizing covariance leads to spectral alignment and provides a principled criterion for constructing quantization-friendly orthogonal transforms. Based on this insight, we propose SpectrumQuant, a closed-form rotation method that estimates activation covariance from calibration data and uses it to construct a covariance-aware orthogonal transform for post-training quantization. Our formulation characterizes quantization-friendly rotations as compositions of alignment and mixing components, while recovering Hadamard matrices as a special case. Interestingly, a class of butterfly matrices belongs to this category. In the realm of LLM quantization, SpectrumQuant bridges the gap between data-agnostic structured rotations and learned rotations, providing an effective and efficient data-aware alternative for post-training quantization. Experiments on Llama and Mistral models show that SpectrumQuant is competitive with state-of-the-art rotation strategies while requiring less than one-third of the GPU memory and significantly less time than learned rotations approaches like SpinQuant and DartQuant.
• Abstract（参考訳）: 直交変換は大きな言語モデル(LLM)の低ビット量子化の有効なツールとして現れており、基礎となるモデル関数を変更することなく活性化分布を再構成している。 既存のアプローチは通常、アダマール回転のような固定されたデータに依存しない変換や、学習された回転のキャリブレーション時間最適化に依存する。 我々は、第一原理からの回転選択を研究し、共分散の最大化がスペクトルアライメントをもたらすことを示すとともに、量子化に親しみやすい直交変換を構築するための原則的基準を提供する。 この知見に基づいて、キャリブレーションデータからアクティベーション共分散を推定する閉形式回転法であるSpectrumQuantを提案する。 我々の定式化は、アライメントと混合成分の組成として量子化フレンドリな回転を特徴付け、特別な場合としてアダマール行列を復元する。 興味深いことに、蝶の行列のクラスがこのカテゴリに属している。 LLM量子化の領域では、SpectrumQuantは、データに依存しない構造化された回転と学習された回転のギャップを埋め、ポストトレーニング量子化のための効率的で効率的なデータ認識代替手段を提供する。 LlamaとMistralモデルに関する実験によると、SpectrumQuantは最先端のローテーション戦略と競合する一方で、GPUメモリの3分の1を必要とせず、SpinQuantやDartQuantのような学習されたローテーションアプローチよりもはるかに少ない。

関連論文リスト

• LATMiX: Learnable Affine Transformations for Microscaling Quantization of LLMs [11.773543873657752]
  可逆変換をアクティベーションに適用することで、量子化を大幅に改善することができる。 現代のハードウェアは、マイクロスケーリング(MX)データフォーマットをますますサポートしている。 学習可能な非可逆アフィン変換への外乱還元を一般化する手法である LATMiX を提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:32:27Z)
• WUSH: Near-Optimal Adaptive Transforms for LLM Quantization [52.77441224845925]
  低ビット幅への量子化は、大きな言語モデルをデプロイするための標準的なアプローチである。 いくつかの極端な重みと活性化は、ダイナミックレンジを拡張し、量子化器の有効分解能を減少させる。 結合重みアクティベーション量子化のための閉形式最適線形ブロックワイズ変換を初めて導出する。
  論文  参考訳（メタデータ） (2025-11-30T16:17:34Z)
• DFRot: Achieving Outlier-Free and Massive Activation-Free for Rotated LLMs with Refined Rotation [5.174900115018253]
  共通トークンの外れ値を取り除き、類似の量子化誤差を実現することにより、大幅な改善が得られた。 これらのトークンの極端に希少性があり、それらの重要な影響がモデル精度に与える影響から、単純で効果的な方法である重み付き損失関数を構築した。 本手法は,DFRotと呼ばれる2自由度,外周自由度,質量活性度を両立させることにより回転LDMを向上する。
  論文  参考訳（メタデータ） (2024-12-01T02:55:08Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• Learning Unorthogonalized Matrices for Rotation Estimation [83.94986875750455]
  3次元の回転を推定することは、3次元コンピュータビジョンの一般的な手順である。 回転行列という表現の1つの形式は、その連続性のために人気がある。 非直交擬似擬似回転行列(PRoM)を提案する。
  論文  参考訳（メタデータ） (2023-12-01T09:56:29Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Sparse Quantized Spectral Clustering [85.77233010209368]
  このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。 急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
  論文  参考訳（メタデータ） (2020-10-03T15:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。