論文の概要: PrismQuant: Optimal Null-Space Rotations for Grouped Quantizers

• arxiv url: http://arxiv.org/abs/2609.32429v1
• Date: Sat, 26 Sep 2026 10:05:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 09:15:10.115721
• Title: PrismQuant: Optimal Null-Space Rotations for Grouped Quantizers
• Title（参考訳）: PrismQuant: グループ量子化器のための最適なNull空間回転
• Abstract要約: 先導的な活性化固有空間を非対称群 INT4 の定数群部分空間と整列する量子化器対応フレームワーク PrismQuant を導入する。 この目的に対して確実に最適である閉形式解を導出する。
• 参考スコア（独自算出の注目度）: 24.719550258434584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Smaller activation outliers do not necessarily imply better low-bit quantization: their alignment with the quantizer matters. We introduce PrismQuant, a quantizer-aware rotation framework that aligns the leading activation eigenspace with the constant group subspace of asymmetric grouped INT4. The affine offsets represent the energy in this subspace without widening the range within the group. We formulate rotation design as a Ky Fan trace maximization and derive a closed-form solution that is provably optimal for this alignment objective. Compact Householder transformations and their compact-WY representation enable gradient-free construction and efficient application at both foldable and online sites. A predictive range law further connects unaligned activation energy and group size to quantization-relevant variation. Experiments on Llama, Qwen, and Mistral span dense models up to 70B parameters and a 30B mixture-of-experts model. Under W4A4KV4, PrismQuant sets the state of the art on Llama-3.2-3B among the compared methods in both perplexity and accuracy. On Llama-3.1-70B, it attains 3.85 perplexity and 72.46% average zero-shot accuracy, only 0.22 percentage points below full precision. In the deployment study on Llama-3.1-8B, our optimized implementation achieves 1.51x prefill and 1.22x CUDA Graph decode speedups over matched FP16 baselines, with 56.34% lower decode peak memory and only 2.35% additional Graph decode latency over Hadamard. Code is available at https://github.com/ForeverBlue816/PrismQuant.
• Abstract（参考訳）: より小さいアクティベーション・アウトレイアは必ずしも低ビット量子化を必ずしも良く示さない:それらの量子化器との整合性は重要である。 先導活性化固有空間と非対称群 INT4 の定数群部分空間を整列する量子化器対応回転フレームワーク PrismQuant を導入する。 アフィンオフセットは、群内の範囲を広げることなく、この部分空間のエネルギーを表す。 我々は、Ky Fanトレースの最大化として回転設計を定式化し、このアライメント目的に対して確実に最適である閉形式解を導出する。 コンパクトハウステリア変換とそのコンパクトWY表現は、折り畳み可能なサイトとオンラインサイトの両方において、勾配のない構築と効率的な適用を可能にする。 予測範囲法則は、不整合活性化エネルギーとグループサイズをさらに量子化関連変動に結びつける。 Llama、Qwen、Mistralの実験は、70Bパラメータと30Bミックス・オブ・エキスパートモデルまで、密度の高いモデルにまたがる。 W4A4KV4の下では、PrismQuantはLlama-3.2-3Bに最先端を設定できる。 Llama-3.1-70Bでは3.85パープレキシティに達し、72.46%の平均ゼロショット精度は0.22ポイントに過ぎなかった。 Llama-3.1-8Bのデプロイメントスタディにおいて、最適化された実装は、一致したFP16ベースライン上での1.51倍のプリフィルと1.22倍のCUDAグラフデコードスピードアップを実現し、56.34%低いデコードピークメモリとわずか2.35%の追加グラフデコード遅延を実現した。 コードはhttps://github.com/ForeverBlue816/PrismQuant.comで入手できる。

関連論文リスト

• Influence-Inspired Spectral Rotations for Extreme Low-Bit LLM Quantization [0.0]
  重みのみの極低ビット量子化に対する共役理論論文の影響を応用する。 BBTspectralはWikitext-2の難易度をW2A16のバニラオートラウンドと比較して58%削減することを示した。
  論文  参考訳（メタデータ） (2026-05-24T18:05:37Z)
• FASQ: Flexible Accelerated Subspace Quantization for Calibration-Free LLM Compression [5.385515135626162]
  FASQ(Flexible Accelerated Subspace Quantization)は,大規模言語モデルに製品量化を適用するキャリブレーションフリーフレームワークである。 Meta-Llama-3-8Bでは、FASQは4ビット GPTQ と AWQ の精度(67-42%モデルサイズ)を37-42%モデルサイズで上回っている。
  論文  参考訳（メタデータ） (2026-04-22T20:03:36Z)
• PolarQuant: Optimal Gaussian Weight Quantization via Hadamard Rotation for LLM Compression [0.0]
  PolarQuantは、大規模言語モデルのトレーニング後の重み量子化手法である。 ニューラルネットワークの重みの分布構造を利用して、ほぼロスレス圧縮を実現する。
  論文  参考訳（メタデータ） (2026-03-30T23:33:28Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。