論文の概要: SignRot: LLM Quantization with Massive Outlier-Aware Sign-Adjusted Rotation
- arxiv url: http://arxiv.org/abs/2611.16502v1
- Date: Thu, 12 Nov 2026 09:05:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.408416
- Title: SignRot: LLM Quantization with Massive Outlier-Aware Sign-Adjusted Rotation
- Title(参考訳): SignRot: LLM量子化
- Abstract要約: SignRotは、任意のAdamardベースの量子化メソッドと互換性のあるドロップイン改善である。
SignRot を QuaRot に適用すると、WikiText2 の難易度は 5.88 であり、平均ゼロショット推論精度は 72.73 であり、LLaMA3-70B モデルでは SpinQuant を上回っている。
- 参考スコア(独自算出の注目度): 10.306784987700572
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While quantization compresses LLMs and accelerates inference, outlier activations impede efficient low-bit representation. In particular, massive outliers cause substantial performance degradation. Although rotation-based methods that rely on randomized Hadamard transforms for online inference aim to mitigate this, they can produce fragmented distributions with empty bins when a massive outlier dominates a token's activation. This fragmentation severely undermines uniform quantization performance. Moreover, massive outliers concentrate in the down-projection input, where the preceding nonlinearity requires the rotation to be applied at inference time. This constraint prevents training-based approaches such as SpinQuant from learning the online rotation at this position, as a learned dense matrix cannot use the Fast Walsh-Hadamard Transform and would require a full matrix multiplication during inference. To address this, we propose SignRot (Sign-adjusted Rotation), which identifies massive outlier channels and constructs a sign adjustment vector that unifies the signs of the corresponding Hadamard row, collapsing the bimodal distribution into a unimodal profile amenable to quantization. Since the aligned outlier shifts the activation mean away from zero, we pair SignRot with asymmetric activation quantization, whose zero-point absorbs this shift. As a lightweight, drop-in improvement compatible with any Hadamard-based quantization method, SignRot requires only a single calibration forward pass and adds only element-wise sign flips at inference, without an additional matrix multiplication. Applying SignRot to QuaRot achieves a WikiText2 perplexity of 5.88 and an average zero-shot reasoning accuracy of 72.73, surpassing SpinQuant on the LLaMA3-70B model. Code is available at https://github.com/HYU-ARK-Lab/SignRot.
- Abstract(参考訳): 量子化はLLMを圧縮し、推論を加速するが、アウタリエアクティベーションは効率的な低ビット表現を妨げる。
特に、大規模なアウトレイアはパフォーマンスを著しく低下させる。
オンライン推論のためにランダム化されたアダマール変換に依存する回転ベースの手法は、これを緩和することを目的としているが、巨大な外れ値がトークンのアクティベーションを支配する場合、空のビンで断片化された分布を生成することができる。
この断片化は均一な量子化性能を著しく損なう。
さらに、大規模なアウトレイアは下降射影入力に集中しており、先行する非線形性は推論時に回転を要求される。
この制約は、SpinQuantのようなトレーニングベースのアプローチがオンライン回転をこの位置で学習するのを防ぐ。
そこで我々は,大規模な外乱チャネルを識別し,対応するアダマール列の符号を統一する符号調整ベクトルを構築するSignRot (Sign-adjusted Rotation)を提案する。
整列したアウトリアは活性化平均をゼロから切り離すので、0点がこのシフトを吸収する非対称なアクティベーション量子化とSignRotをペアにする。
任意のアダマールベースの量子化法と互換性のある軽量でドロップインの改善として、SignRotは単一のキャリブレーションフォワードパスのみを必要とし、追加の行列乗法を使わずに推論時に要素単位の符号フリップのみを追加する。
SignRot を QuaRot に適用すると、WikiText2 の難易度は 5.88 であり、平均ゼロショット推論精度は 72.73 であり、LLaMA3-70B モデルでは SpinQuant を上回っている。
コードはhttps://github.com/HYU-ARK-Lab/SignRot.comで入手できる。
関連論文リスト
- Zeta: Dual Whitening for Matrix Optimization via Coordinate-Adaptive Preconditioning [56.24532075189964]
我々は、厳密に順序付けられたパイプラインで座標白化とスペクトル白化を施した二重白化であるゼータを提案する。
我々はZetaが言語モデリング(0.6Bから8Bパラメータ)、Mix-of-expertsアーキテクチャ、ビジョンタスクにまたがる強力なベースラインに適合しているか、あるいは超越していることを証明する。
論文 参考訳(メタデータ) (2026-06-12T07:10:17Z) - ButterflyQuant: Ultra-low-bit LLM Quantization through Learnable Orthogonal Butterfly Transforms [21.010238822100135]
大きな言語モデルは巨大なメモリフットプリントを必要とし、コンシューマハードウェアへのデプロイを著しく制限する。
量子化は低い数値精度でメモリを減少させるが、極端な2ビット量子化は、アクティベーションの異常値による破滅的な性能損失に悩まされる。
本研究では,アダマール回転を学習可能なバタフライ変換に置き換えるバタフライ量子化法を提案する。
論文 参考訳(メタデータ) (2025-09-11T17:59:51Z) - DFRot: Achieving Outlier-Free and Massive Activation-Free for Rotated LLMs with Refined Rotation [5.174900115018253]
共通トークンの外れ値を取り除き、類似の量子化誤差を実現することにより、大幅な改善が得られた。
これらのトークンの極端に希少性があり、それらの重要な影響がモデル精度に与える影響から、単純で効果的な方法である重み付き損失関数を構築した。
本手法は,DFRotと呼ばれる2自由度,外周自由度,質量活性度を両立させることにより回転LDMを向上する。
論文 参考訳(メタデータ) (2024-12-01T02:55:08Z) - DuQuant: Distributing Outliers via Dual Transformation Makes Stronger Quantized LLMs [40.48697728884967]
大規模言語モデル(LLM)の量子化は、特に外部アクティベーションの存在により、大きな課題に直面している。
伝統的なアプローチは、比較的大きな大きさの全てのトークンをまたいだ活性化であるノーマル・アウトリエに主に対応している。
DuQuantは回転変換と置換変換を利用して、大量および正常な外れ値の両方をより効果的に緩和する新しいアプローチである。
論文 参考訳(メタデータ) (2024-06-03T18:27:44Z) - SpinQuant: LLM quantization with learned rotations [49.07335692298487]
重み、アクティベーション、KVキャッシュに適用された後トレーニング量子化(PTQ)技術は、大規模言語モデル(LLM)のメモリ使用量、レイテンシ、消費電力を大幅に削減する。
我々は、量子化精度を高めつつ、完全精度のトランスフォーマーアーキテクチャにおいて同一の出力をもたらす、適用可能な回転パラメータ化の集合を同定する。
本研究では,学習した回転行列を最適な量子化ネットワーク精度に組み込む新しい手法であるSpinQuantを提案する。
論文 参考訳(メタデータ) (2024-05-26T02:15:49Z) - QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs [72.26197676852958]
ローテーションに基づく新しい量子化方式であるQuaRotを紹介する。
QuaRotは、すべての重み、アクティベーション、KVキャッシュを含むエンドツーエンドを4ビットで量子化する。
我々の4ビット量子化LLaMa2-70Bモデルは、少なくとも0.47 WikiText-2パープレキシティが失われ、ゼロショット性能の99%を維持している。
論文 参考訳(メタデータ) (2024-03-30T19:20:06Z) - Orthogonal Jacobian Regularization for Unsupervised Disentanglement in
Image Generation [64.92152574895111]
直交ジャコビアン正規化法(OroJaR)を提案する。
提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
論文 参考訳(メタデータ) (2021-08-17T15:01:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。