論文の概要: Influence-Inspired Spectral Rotations for Extreme Low-Bit LLM Quantization
- arxiv url: http://arxiv.org/abs/2605.25203v1
- Date: Sun, 24 May 2026 18:05:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:18.965094
- Title: Influence-Inspired Spectral Rotations for Extreme Low-Bit LLM Quantization
- Title（参考訳）: 極低ビットLDM量子化のための影響誘起分光回転
- Abstract要約: 重みのみの極低ビット量子化に対する共役理論論文の影響を応用する。
BBTspectralはWikitext-2の難易度をW2A16のバニラオートラウンドと比較して58%削減することを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We apply the influence-adaptive Walsh geometry of a companion theory paper (arXiv:2605.01637) to extreme low-bit weight-only LLM quantization. The recipe is one math-invariant transformation: WHT-rotate each linear layer's weight matrix and rescale its columns by per-coordinate Walsh-basis activation energy before handing off to a reconstruction-error quantizer (Intel auto-round). This biases per-group integer rounding toward high-spectral-energy channels. On four pretrained decoder-only models from 135M to 1.5B parameters, BBT-spectral reduces wikitext-2 perplexity by 15-58% relative to vanilla auto-round at W2A16; we also report a TinyLlama-1.1B auxiliary data point. Three extensions transfer the recipe to families it failed on: a per-head PCA matrix-Gamma replacement of q_norm/k_norm for Qwen3 attention (PPL 136.76 -> 88.99 on Qwen3-0.6B); an SO(2) per-pair rotation that commutes with RoPE (PPL 36.93 -> 21.84 on Qwen2.5-1.5B); and an MoE-aware input-side absorption fix identified by architectural fuzzing of Laguna-style fused-expert layouts. A W2-vs-W4 ablation gives a deliberate negative control: the redistribution payoff falls within the +/-0.5 PPL noise floor at W4, consistent with the Schur-convexity intuition that the cost of unconcentrated influence vanishes as the noise budget shrinks. All quantized weights export to OpenVINO IR and run on Intel NPU + Arc dGPU + CPU with PPL invariant to device within +/-0.1. We do not claim a formal Boolean-to-real-valued transfer of the theory paper's majorization argument: the WHT activation energy used here is not the Boolean influence of the theory paper, the link is intuitive, and the contribution is engineering value rather than a transferred theorem. Head-to-head benchmarks against SpinQuant, QuaRot, QuIP-sharp, AQLM, OmniQuant, and ButterflyQuant at matched calibration are the main future-work item.
- Abstract（参考訳）: 我々は、超低ビット量のみのLSM量子化に共役理論論文(arXiv:2605.01637)の影響適応型ウォルシュ幾何を適用する。
WHTは各線形層の重み行列を回転させ、リコンストラクションエラー量子化器(Intelオートラウンド)に渡す前にウォルシュ基底活性化エネルギーを調整してカラムを再スケールする。
これは、高スペクトルエネルギーチャネルへのグループごとの整数丸めをバイアスする。
135Mから1.5Bパラメータの事前訓練されたデコーダのみの4つのモデルにおいて、BBTスペクトルは、W2A16のバニラオートラウンドと比較してwikitext-2の難易度を15～58%削減する。
PPL 136.76 -> 88.99はQwen3-0.6B、SO(2)はRoPE(PPL 36.93 -> 21.84はQwen2.5-1.5B)と通勤する。
W2-vs-W4アブレーションは故意に負の制御を与える: 再分配のペイオフはW4の+/-0.5 PPLノイズフロア内にあり、ノイズ予算が減少するにつれて、集中しない影響のコストが消滅するというシュール凸の直感と一致する。
すべての量子化重みはOpenVINO IRにエクスポートされ、Intel NPU + Arc dGPU + CPU上で動作し、PPLは+/-0.1でデバイスに不変である。
ここで用いられる WHT 活性化エネルギーは理論論文のブール的影響ではなく、リンクは直感的であり、寄与は移譲定理よりも工学的価値である。
SpinQuant, QuaRot, QuIP-sharp, AQLM, OmniQuant, ButterflyQuantに対する、マッチしたキャリブレーションにおけるヘッド・ツー・ヘッドのベンチマークが、今後の主要な作業項目である。
関連論文リスト
- Qift: Shift-Friendly No-Zero W2 Post-Training Quantization for Rotated W2A4/KV4 LLM Inference [3.308743964406687]
2ビットの重み量子化はメモリ効率のLLM推論には魅力的である。
標準のW2レベルセット-2,-1,0,+1は攻撃的なW2A4/KV4設定でしばしば崩壊する。
回転W2A4/KV4推論のための固定ノゼロのW2レベルセットであるQiftを提案する。
論文 参考訳（メタデータ） (2026-06-01T19:40:32Z) - QAM-W: Joint 2D Codebook Quantization for LLM Weights via Hadamard Rotation and Activation-Aware Scaling [0.0]
トレーニング後の量子化器は、重み列内のペアワイズ座標構造を捨てる。
本稿では,QAM-W (Quadrature Amplitude Modulation for Weights) を導入する。
3.5bpwの変種は量子化耐性アーキテクチャと競合する。
論文 参考訳（メタデータ） (2026-05-25T21:28:46Z) - DiRotQ: Rotation-Aware Quantization for 4-bit Diffusion Transformers [3.0583214514538084]
Diffusion Transformer (DiTs) は最先端の画像生成品質を実現するが、推論時にかなりのメモリと計算コストを発生させる。
平滑化法、混合精度法、回転法、低ランク残差法などの既存の手法は、この問題を部分的に緩和するが、それでもFP16/BF16の性能に顕著なギャップを残している。
本稿では、回転認識型アクティベーション量子化による劣化を緩和するW4A4 PTQフレームワークであるDiRotQを紹介する。
論文 参考訳（メタデータ） (2026-05-16T00:52:00Z) - Depth Registers Unlock W4A4 on SwiGLU: A Reader/Generator Decomposition [2.6382975801439836]
我々は,FineWeb-Eduの5Bトークンで学習したSwiGLUデコーダのみの言語モデルにおけるW4A4量子化の訓練後について検討した。
W4A4は、FP16 23.6から1727までの検証難易度を崩壊させる。
DR+sinkをデプロイメント提案ではなく,トレーニングタイムのプローブとして提示する。
論文 参考訳（メタデータ） (2026-04-20T11:47:11Z) - KurTail : Kurtosis-based LLM Quantization [51.24081396305435]
KurTailは、大規模言語モデルのアクティベートにおいて、アウトレーヤを緩和する、新しいトレーニング後の量子化スキームである。
MMLUの精度は13.3%向上し、Wikiの難易度はQuaRotに比べて15.5%低下している。
また、SpinQuantを2.6%のMMLUゲインで上回り、パープレキシティを2.9%削減し、トレーニングコストを削減した。
論文 参考訳（メタデータ） (2025-03-03T12:43:06Z) - PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models [64.84734437930362]
大規模言語モデル(LLM)は、非常に低ビット(2ビット未満)の量子化に直面した場合、性能が著しく低下する。
我々はPTQ1.61と呼ばれる極低ビットのPTQ法を提案し、これによって初めて1.61ビットの重み量子化が可能となる。
実験により、PTQ1.61は極低ビット量子化において最先端の性能を達成することが示された。
論文 参考訳（メタデータ） (2025-02-18T08:04:58Z) - SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。
この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。
We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
論文 参考訳（メタデータ） (2024-11-07T18:59:58Z) - FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。
本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。
LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
論文 参考訳（メタデータ） (2024-10-12T08:10:28Z) - SpinQuant: LLM quantization with learned rotations [49.07335692298487]
重み、アクティベーション、KVキャッシュに適用された後トレーニング量子化(PTQ)技術は、大規模言語モデル(LLM)のメモリ使用量、レイテンシ、消費電力を大幅に削減する。
我々は、量子化精度を高めつつ、完全精度のトランスフォーマーアーキテクチャにおいて同一の出力をもたらす、適用可能な回転パラメータ化の集合を同定する。
本研究では,学習した回転行列を最適な量子化ネットワーク精度に組み込む新しい手法であるSpinQuantを提案する。
論文 参考訳（メタデータ） (2024-05-26T02:15:49Z) - QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs [72.26197676852958]
ローテーションに基づく新しい量子化方式であるQuaRotを紹介する。
QuaRotは、すべての重み、アクティベーション、KVキャッシュを含むエンドツーエンドを4ビットで量子化する。
我々の4ビット量子化LLaMa2-70Bモデルは、少なくとも0.47 WikiText-2パープレキシティが失われ、ゼロショット性能の99%を維持している。
論文 参考訳（メタデータ） (2024-03-30T19:20:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。