論文の概要: Softmax Reparameterization for Output-Head Quantization
- arxiv url: http://arxiv.org/abs/2609.31291v2
- Date: Mon, 28 Sep 2026 04:06:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-29 21:31:51.84024
- Title: Softmax Reparameterization for Output-Head Quantization
- Title（参考訳）: 出力ヘッド量子化のためのソフトマックス再パラメータ化
- Abstract要約: 後学習法は量子化の前に関数的に等価な出力ヘッドを探索する。
線形ソフトマックスヘッドの場合、これらのシフトは完全精度の予測を正確に保存する。
シフト互換ヘッドでは、シフトは推論操作を追加しない。
- 参考スコア（独自算出の注目度）: 9.854920382071983
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large vocabularies make output heads a substantial inference cost in small language models. We introduce softmax reparameterization, a post-training method that searches over functionally equivalent output heads before quantization. The method subtracts a scalar multiple of the vocabulary-row mean from every output row and selects the coefficient by validation KL. For linear-softmax heads, these shifts preserve full-precision predictions exactly and require no decoder retraining; a rank-one correction extends the construction to nonlinear logit paths. Across seven output heads and three quantizers, W4 gains are largest where baseline quantization substantially distorts predictions: test KL falls by 93% on XGLM under RTN and by 73--77% on Phi, BLOOM, and BLOOMZ under activation-weighted MSE. Heads with low baseline error change little; at W2, used as a compression stress test, benefits extend more broadly. On Phi, the gains persist under stronger GPTQ calibration; a separate untouched holdout reproduces the improvements on Phi and BLOOM. Frozen WikiText-selected coefficients also transfer without retuning to C4 and OpenWebMath. Residual analysis on Phi shows how fidelity can improve despite greater total logit error: the selected representative reduces error on likely outputs and lowers its Fisher-weighted cost. For shift-compatible heads, the shift adds no inference operation. With the decoder held in BF16, a packed W4 Phi output head reduces batch-one generation latency by 10.8%, and reparameterization preserves this speedup.
- Abstract（参考訳）: 大きな語彙は、小さな言語モデルにおいて、出力ヘッドを相当な推論コストにします。
量子化の前に関数的に等価な出力ヘッドを探索するポストトレーニング手法であるソフトマックスパラメータ化を導入する。
この方法は、各出力行から語彙平均のスカラー倍を減算し、検証KLにより係数を選択する。
線形ソフトマックスヘッドの場合、これらのシフトは完全精度の予測を正確に保ち、デコーダの再訓練を必要としない。
7つの出力ヘッドと3つの量子化器のうち、W4ゲインはベースラインの量子化が予測を著しく歪ませる最大であり、テストKLはRTNのXGLMで93%、Phi、BLOOM、BLOOMZで73-77%減少する。
ベースラインエラーがほとんどないヘッドは、圧縮ストレステストとして使用されるW2では、より広範囲にメリットが拡張される。
Phiでは、ゲインはより強力なGPTQキャリブレーションの下で持続し、別のタッチなしホールドアウトはPhiとBLOOMの改善を再現する。
凍結WikiText選択係数もC4やOpenWebMathに修正することなく転送される。
Phiの残留分析は、総ロジット誤差が大きいにもかかわらず、フィデリティがいかに改善できるかを示している: 選択された代表者は、潜在的出力のエラーを減らし、フィッシャー重み付きコストを下げる。
シフト互換ヘッドでは、シフトは推論操作を追加しない。
BF16で保持されるデコーダにより、満載のW4 Phi出力ヘッドはバッチ1生成のレイテンシを10.8%削減し、再パラメータ化はこのスピードアップを保っている。
関連論文リスト
- On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - SoftWater: Class-Aware Rate Allocation for Softmax Quantization [5.213778368155993]
訓練後の量子化パイプラインは、通常、ソフトマックス出力層を高精度に残す。
現代の語彙を持つ小さなLLMでは、頭部は全パラメータの15-30%を占めており、fp16ヘッドを持つ名目2ビットのモデルは重量の何倍ものビットを格納することができる。
我々は、元の出力分布と量子化された出力分布のKL分散の下で、レート歪み問題としてソフトマックス層量子化を仮定する。
論文 参考訳（メタデータ） (2026-08-12T13:06:50Z) - Stable FP4 Training via Transposition-Invariant Block Quantization [14.373963304887754]
従来の1Dブロック量子化では、前方と後方のパスは変換後に同じ値に誘電性スケーリング因子を割り当てる。
本稿では,2次元ブロックFP4量子化に基づく低精度トレーニングフレームワークを提案する。
提案手法は安定なエンドツーエンドFP4トレーニングを実現し,BF16の性能と密に一致し,パープレキシティと下流精度が1.3%未満に低下した。
論文 参考訳（メタデータ） (2026-07-27T18:03:34Z) - MosaicQuant: Inlier-Outlier Disaggregation for Unified 4-Bit LLM Quantization [27.433770037419624]
大規模言語モデル(LLM)のための統一的な4ビット量子化パラダイムを提案する。
MosaicQuantは、全重量行列を高密度な4ビット基底成分に量子化し、不純物は忠実に捕獲され、不純物は必然的に定量化される。
LLaMA3とQwen3の実験では、MosaicQuantはFP16に近い精度を維持し、W16A16ベースライン上で最大1.24タイムのスピードアップを実現している。
論文 参考訳（メタデータ） (2026-06-14T07:43:43Z) - ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。
ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
論文 参考訳（メタデータ） (2026-01-29T18:35:01Z) - HAS-VQ: Hessian-Adaptive Sparse Vector Quantization for High-Fidelity LLM Compression [0.0]
HAS-VQ (Hessian-Adaptive Sparse Vec-tor Quantization) は,高感度のアウトレーヤをバルク重量分布から厳密に分離する圧縮フレームワークである。
我々は, SmolLM2-1.7B上のHAS-VQを評価し, 2つの異なる優越性を証明した。
論文 参考訳（メタデータ） (2026-01-11T15:35:10Z) - CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
本稿では,量子化による損失に対応する新しい手法を提案する。
CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。
LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
論文 参考訳（メタデータ） (2025-10-21T16:33:57Z) - ResQ: Mixed-Precision Quantization of Large Language Models with Low-Rank Residuals [10.860081994662645]
大規模言語モデル(LLM)の学習後の量子化は、推論時の計算コストを抑えるという約束を果たす。
本稿では,最先端技術をさらに推し進めるPTQ手法であるResQを提案する。
ResQは、様々なベンチマークにおいて、最近の一様および混合精度のPTQ法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-12-18T22:01:55Z) - SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。
この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。
We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
論文 参考訳（メタデータ） (2024-11-07T18:59:58Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳（メタデータ） (2020-11-20T23:51:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。