論文の概要: SoftWater: Class-Aware Rate Allocation for Softmax Quantization
- arxiv url: http://arxiv.org/abs/2608.12026v1
- Date: Wed, 12 Aug 2026 13:06:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.588462
- Title: SoftWater: Class-Aware Rate Allocation for Softmax Quantization
- Title（参考訳）: SoftWater:Softmax量子化のためのクラスアウェアレートアロケーション
- Abstract要約: 訓練後の量子化パイプラインは、通常、ソフトマックス出力層を高精度に残す。
現代の語彙を持つ小さなLLMでは、頭部は全パラメータの15-30%を占めており、fp16ヘッドを持つ名目2ビットのモデルは重量の何倍ものビットを格納することができる。
我々は、元の出力分布と量子化された出力分布のKL分散の下で、レート歪み問題としてソフトマックス層量子化を仮定する。
- 参考スコア（独自算出の注目度）: 5.213778368155993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Post-training quantization pipelines routinely leave the softmax output layer in high precision. Yet in small LLMs with modern vocabularies, the head holds 15--30\% of all parameters, so a nominal ``2-bit'' model with an fp16 head can store several times as many bits per weight. We pose softmax-layer quantization as a rate-distortion problem under the KL divergence between the original and quantized output distributions. A second-order analysis reveals a class-aware geometry: quantization error is weighted jointly by feature covariance and class-specific softmax curvature. A separability approximation replaces the $Kn\times Kn$ Cholesky with one $n\times n$ factorization rescaled per class, making the lattice encodable by successive interference cancellation, with both statistics from a single forward pass. The resulting method, SoftWater, gives fine grids to frequent, low-variance classes and coarse grids to rare ones, a large gap under Zipfian token distributions. Across five models from 1B to 32B, SoftWater outperforms the released WaterSIC quantizer (near-optimal under linear-layer WMSE but not output KL) at matched head rates on 59 of 60 test points, using none of that pipeline's refinements and cutting head-induced KL by $6.5\times$--$8.3\times$ at 2 bits. On Llama-3.2-1B-Instruct with quantized bodies, a 2-bit head removes 45--60\% of stored bytes for a $2.9$--$3.7\%$ perplexity increase. Because the class-side statistic comes from calibration data, matching calibration to the deployment domain gives the lowest KL on that domain throughout. On a tied model, a 4-bit head is near-lossless and a 2-bit head costs under 4\% perplexity, making head quantization of such models practical.
- Abstract（参考訳）: 訓練後の量子化パイプラインは、通常、ソフトマックス出力層を高精度に残す。
しかし、現代の語彙を持つ小さなLLMでは、頭部は全パラメータの15-30\%を保持しているため、fp16ヘッドを持つ名目「`2-bit'」モデルは重量の何倍ものビットを格納することができる。
我々は、元の出力分布と量子化された出力分布のKL分散の下で、レート歪み問題としてソフトマックス層量子化を仮定する。
量子化誤差は特徴共分散とクラス固有のソフトマックス曲率によって重み付けされる。
分離性近似は、Kn\times Kn$ Cholesky を1つの $n\times n$ factorization に置き換え、格子を連続的な干渉キャンセルによってエンコデブルにする。
結果として得られるメソッドであるSoftWaterは、頻度の高い低分散クラスへの細かなグリッドと希少なクラスへの粗いグリッド、Zipfianトークンの分布に対する大きなギャップを提供します。
1Bから32Bまでの5つのモデルにおいて、SoftWaterはリリースしたWaterSIC量子化器(線形層WMSEでは最適に近いが出力KLではない)を60個のテストポイントのうち59個のテストポイントで出力し、パイプラインの洗練とヘッド誘起KLの6.5\times$--8.3\times$を2ビットで削減した。
量子化された体を持つLlama-3.2-1B-インストラクタでは、2ビットのヘッドが2.9$--$3.7$%のパープレキシティ増加のために保存されたバイトの45-60\%を除去する。
クラス側の統計はキャリブレーションデータから得られるため、デプロイメントドメインに対するキャリブレーションは、そのドメイン全体で最も低いKLを与える。
結合モデルでは、4ビットのヘッドがほぼロスレスであり、2ビットのヘッドは4倍のパープレキシティ以下でコストがかかるため、そのようなモデルのヘッド量子化は実用的である。
関連論文リスト
- Quantum Tunneling-Aware Machine Learning: Physics-Derived Noise Models for Robust Deployment [5.373588450790602]
量子トンネル対応機械学習(QTAML)を紹介する。
We derived the deployment-time weight-error distribution from first principles using the Wentzel-Kramers-Brillouin (WKB) approximation。
我々は,これらの構造特性を単一配置時アルゴリズムであるTunning-Aware Compensation (TAC) にパッケージ化し,閉形式平均補正と最適層予算配分を組み合わせた。
論文 参考訳（メタデータ） (2026-05-30T14:21:16Z) - QAM-W: Joint 2D Codebook Quantization for LLM Weights via Hadamard Rotation and Activation-Aware Scaling [0.0]
トレーニング後の量子化器は、重み列内のペアワイズ座標構造を捨てる。
本稿では,QAM-W (Quadrature Amplitude Modulation for Weights) を導入する。
3.5bpwの変種は量子化耐性アーキテクチャと競合する。
論文 参考訳（メタデータ） (2026-05-25T21:28:46Z) - LAQuant: A Simple Overhead-free Large Reasoning Model Quantization by Layer-wise Lookahead Loss [8.481133435038839]
大規模な推論モデルは、長い自己回帰復号によって競合レベルの数学と符号化精度に達する。
ウェイト量子化はアクセラレーションの標準ツールであるが、長復号推論ベンチマークでは、代表的なレシピが正確さを失う。
そこで我々はLookAhead Quantization (LAQuant) を提案する。
論文 参考訳（メタデータ） (2026-05-09T07:35:38Z) - A Closed-Form Persistence-Landmark Pipeline for Certified Point-Cloud and Graph Classification [0.0]
PLACE(Persistence-Landmark Analytic Classification Engine)は、点雲とグラフを分類するためのクローズドフォームパイプラインである。
3つの量的保証 -- マージンベースの過剰リスク率、クローズドフォーム記述子選択ルール、プレディションごとの証明書 -- は、トレーニングラベルのみから導かれる。
論文 参考訳（メタデータ） (2026-05-04T17:15:01Z) - BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。
BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文 参考訳（メタデータ） (2026-02-04T02:54:37Z) - SINQ: Sinkhorn-Normalized Quantization for Calibration-Free Low-Precision LLM Weights [8.95245917088986]
訓練後の量子化は、大規模言語モデルを低精度で展開するための最も広く使われている戦略として現れてきた。
現在の手法では、ビット幅が4以下でパープレキシティ劣化を示す。
本稿では,2軸スケール係数と高速シンクホーン-ノック方式のアルゴリズムにより,既存の学習後量子化器を増強するSINQを紹介する。
論文 参考訳（メタデータ） (2025-09-26T21:22:54Z) - KurTail : Kurtosis-based LLM Quantization [51.24081396305435]
KurTailは、大規模言語モデルのアクティベートにおいて、アウトレーヤを緩和する、新しいトレーニング後の量子化スキームである。
MMLUの精度は13.3%向上し、Wikiの難易度はQuaRotに比べて15.5%低下している。
また、SpinQuantを2.6%のMMLUゲインで上回り、パープレキシティを2.9%削減し、トレーニングコストを削減した。
論文 参考訳（メタデータ） (2025-03-03T12:43:06Z) - ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。
3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。
ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
論文 参考訳（メタデータ） (2025-02-04T18:59:26Z) - SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。
この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。
We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
論文 参考訳（メタデータ） (2024-11-07T18:59:58Z) - FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。
本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。
LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
論文 参考訳（メタデータ） (2024-10-12T08:10:28Z) - Towards large-scale quantum optimization solvers with few qubits [59.63282173947468]
我々は、$m=mathcalO(nk)$バイナリ変数を$n$ qubitsだけを使って最適化するために、$k>1$で可変量子ソルバを導入する。
我々は,特定の量子ビット効率の符号化が,バレン高原の超ポリノミウム緩和を内蔵特徴としてもたらすことを解析的に証明した。
論文 参考訳（メタデータ） (2024-01-17T18:59:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。