論文の概要: Influence-Inspired Spectral Rotations for Extreme Low-Bit LLM Quantization

• arxiv url: http://arxiv.org/abs/2605.25203v1
• Date: Sun, 24 May 2026 18:05:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.965094
• Title: Influence-Inspired Spectral Rotations for Extreme Low-Bit LLM Quantization
• Title（参考訳）: 極低ビットLDM量子化のための影響誘起分光回転
• Authors: Gorgi Pavlov,
• Abstract要約: 重みのみの極低ビット量子化に対する共役理論論文の影響を応用する。 BBTspectralはWikitext-2の難易度をW2A16のバニラオートラウンドと比較して58%削減することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We apply the influence-adaptive Walsh geometry of a companion theory paper (arXiv:2605.01637) to extreme low-bit weight-only LLM quantization. The recipe is one math-invariant transformation: WHT-rotate each linear layer's weight matrix and rescale its columns by per-coordinate Walsh-basis activation energy before handing off to a reconstruction-error quantizer (Intel auto-round). This biases per-group integer rounding toward high-spectral-energy channels. On four pretrained decoder-only models from 135M to 1.5B parameters, BBT-spectral reduces wikitext-2 perplexity by 15-58% relative to vanilla auto-round at W2A16; we also report a TinyLlama-1.1B auxiliary data point. Three extensions transfer the recipe to families it failed on: a per-head PCA matrix-Gamma replacement of q_norm/k_norm for Qwen3 attention (PPL 136.76 -> 88.99 on Qwen3-0.6B); an SO(2) per-pair rotation that commutes with RoPE (PPL 36.93 -> 21.84 on Qwen2.5-1.5B); and an MoE-aware input-side absorption fix identified by architectural fuzzing of Laguna-style fused-expert layouts. A W2-vs-W4 ablation gives a deliberate negative control: the redistribution payoff falls within the +/-0.5 PPL noise floor at W4, consistent with the Schur-convexity intuition that the cost of unconcentrated influence vanishes as the noise budget shrinks. All quantized weights export to OpenVINO IR and run on Intel NPU + Arc dGPU + CPU with PPL invariant to device within +/-0.1. We do not claim a formal Boolean-to-real-valued transfer of the theory paper's majorization argument: the WHT activation energy used here is not the Boolean influence of the theory paper, the link is intuitive, and the contribution is engineering value rather than a transferred theorem. Head-to-head benchmarks against SpinQuant, QuaRot, QuIP-sharp, AQLM, OmniQuant, and ButterflyQuant at matched calibration are the main future-work item.
• Abstract（参考訳）: 我々は、超低ビット量のみのLSM量子化に共役理論論文(arXiv:2605.01637)の影響適応型ウォルシュ幾何を適用する。 WHTは各線形層の重み行列を回転させ、リコンストラクションエラー量子化器(Intelオートラウンド)に渡す前にウォルシュ基底活性化エネルギーを調整してカラムを再スケールする。 これは、高スペクトルエネルギーチャネルへのグループごとの整数丸めをバイアスする。 135Mから1.5Bパラメータの事前訓練されたデコーダのみの4つのモデルにおいて、BBTスペクトルは、W2A16のバニラオートラウンドと比較してwikitext-2の難易度を15～58%削減する。 PPL 136.76 -> 88.99はQwen3-0.6B、SO(2)はRoPE(PPL 36.93 -> 21.84はQwen2.5-1.5B)と通勤する。 W2-vs-W4アブレーションは故意に負の制御を与える: 再分配のペイオフはW4の+/-0.5 PPLノイズフロア内にあり、ノイズ予算が減少するにつれて、集中しない影響のコストが消滅するというシュール凸の直感と一致する。 すべての量子化重みはOpenVINO IRにエクスポートされ、Intel NPU + Arc dGPU + CPU上で動作し、PPLは+/-0.1でデバイスに不変である。 ここで用いられる WHT 活性化エネルギーは理論論文のブール的影響ではなく、リンクは直感的であり、寄与は移譲定理よりも工学的価値である。 SpinQuant, QuaRot, QuIP-sharp, AQLM, OmniQuant, ButterflyQuantに対する、マッチしたキャリブレーションにおけるヘッド・ツー・ヘッドのベンチマークが、今後の主要な作業項目である。

関連論文リスト

• Depth Registers Unlock W4A4 on SwiGLU: A Reader/Generator Decomposition [2.6382975801439836]
  我々は,FineWeb-Eduの5Bトークンで学習したSwiGLUデコーダのみの言語モデルにおけるW4A4量子化の訓練後について検討した。 W4A4は、FP16 23.6から1727までの検証難易度を崩壊させる。 DR+sinkをデプロイメント提案ではなく,トレーニングタイムのプローブとして提示する。
  論文  参考訳（メタデータ） (2026-04-20T11:47:11Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• SpinQuant: LLM quantization with learned rotations [49.07335692298487]
  重み、アクティベーション、KVキャッシュに適用された後トレーニング量子化(PTQ)技術は、大規模言語モデル(LLM)のメモリ使用量、レイテンシ、消費電力を大幅に削減する。 我々は、量子化精度を高めつつ、完全精度のトランスフォーマーアーキテクチャにおいて同一の出力をもたらす、適用可能な回転パラメータ化の集合を同定する。 本研究では,学習した回転行列を最適な量子化ネットワーク精度に組み込む新しい手法であるSpinQuantを提案する。
  論文  参考訳（メタデータ） (2024-05-26T02:15:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。