論文の概要: Softmax Reparameterization for Output-Head Quantization
- arxiv url: http://arxiv.org/abs/2609.31291v1
- Date: Fri, 25 Sep 2026 14:01:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.416233
- Title: Softmax Reparameterization for Output-Head Quantization
- Title（参考訳）: 出力ヘッド量子化のためのソフトマックス再パラメータ化
- Abstract要約: 本稿では,量子化前の関数的に等価な出力ヘッドを選択するポストトレーニング手法を提案する。
7つのヘッドにまたがって、W4はベースライン量子化が予測を実質的に歪ませる点に集中する。
4つのヘッドと3つのW4量子化器、凍結されたWikiText選択係数もまたC4とOpenWebMathに転送される。
- 参考スコア（独自算出の注目度）: 9.854920382071983
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large vocabularies make output heads a substantial inference cost in small language models. We propose softmax reparameterization, a post-training method that selects a functionally equivalent output head before quantization. The method subtracts a scalar multiple of the vocabulary-row mean from every output row and selects the coefficient by validation KL separately for RTN, activation-weighted MSE, and full-Hessian GPTQ. This one-dimensional search includes the original head and fixed mean-centering, preserves the full-precision softmax distribution, and leaves the trained decoder unchanged; a rank-one correction handles nonlinear logit paths such as soft-capping. Across seven heads, W4 gains concentrate where baseline quantization substantially distorts predictions: on Phi-4-mini, AW-MSE KL falls from 0.936 to 0.256. The gains survive stronger GPTQ calibration and remain complementary to exact per-channel scaling and affine quantization. Across four heads and three W4 quantizers, frozen WikiText-selected coefficients also transfer to C4 and OpenWebMath, outperforming mean-centering in all 18 comparisons where the frozen coefficient differs from $1$ and matching it in the remaining six. At W2, used as a compression stress test, benefits broaden across nearly the full model--quantizer matrix. Matched residual analysis shows that improved fidelity can accompany greater logit reconstruction error while reducing the residual's Fisher-weighted cost. For shift-compatible heads, reparameterization adds no inference operation and preserves packed W4 execution: with the decoder held in BF16, quantizing the Phi output head reduces batch-one generation latency by 10.8% relative to the BF16-head baseline.
- Abstract（参考訳）: 大きな語彙は、小さな言語モデルにおいて、出力ヘッドを相当な推論コストにします。
本稿では,量子化に先立って関数的に等価な出力ヘッドを選択するポストトレーニング手法であるソフトマックスパラメータ化を提案する。
この方法は、各出力行から語彙平均のスカラー倍を減算し、RTN、アクティベーション重み付きMSE、フルヘッセンGPTQに対して別々に検証KLにより係数を選択する。
この1次元探索は、元の頭部と固定平均中心を含み、全精度のソフトマックス分布を保持し、訓練されたデコーダをそのまま残し、ランクワン補正はソフトキャッピングなどの非線形ロジットパスを処理する。
7つのピークにわたって、W4はベースラインの量子化が予測を実質的に歪ませる点に集中する: Phi-4-miniでは、AW-MSE KLは0.936から0.256に低下する。
ゲインはより強力なGPTQキャリブレーションを保ち、正確なチャネルごとのスケーリングとアフィン量子化を補完する。
4つのヘッドと3つのW4量子化器のうち、凍結されたWikiText選択係数もC4とOpenWebMathに変換され、凍結された係数が1ドルと異なり、残りの6つと一致する18の比較において平均中心よりも優れている。
圧縮ストレステストとして使用されるW2では、ほぼ全てのモデル-量子化器行列にメリットが広がる。
一致した残留分析により,改良された忠実度は,残余のフィッシャー重み付けコストを低減しつつ,より高いロジット再構成誤差を伴うことが示された。
シフト互換ヘッドでは、再パラメータ化は推論操作を追加せず、満載のW4実行を保存する:BF16で保持されるデコーダにより、Phi出力ヘッドの量子化は、BF16ヘッドベースラインと比較してバッチ1生成遅延を10.8%削減する。
関連論文リスト
- On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - SoftWater: Class-Aware Rate Allocation for Softmax Quantization [5.213778368155993]
訓練後の量子化パイプラインは、通常、ソフトマックス出力層を高精度に残す。
現代の語彙を持つ小さなLLMでは、頭部は全パラメータの15-30%を占めており、fp16ヘッドを持つ名目2ビットのモデルは重量の何倍ものビットを格納することができる。
我々は、元の出力分布と量子化された出力分布のKL分散の下で、レート歪み問題としてソフトマックス層量子化を仮定する。
論文 参考訳（メタデータ） (2026-08-12T13:06:50Z) - Stable FP4 Training via Transposition-Invariant Block Quantization [14.373963304887754]
従来の1Dブロック量子化では、前方と後方のパスは変換後に同じ値に誘電性スケーリング因子を割り当てる。
本稿では,2次元ブロックFP4量子化に基づく低精度トレーニングフレームワークを提案する。
提案手法は安定なエンドツーエンドFP4トレーニングを実現し,BF16の性能と密に一致し,パープレキシティと下流精度が1.3%未満に低下した。
論文 参考訳（メタデータ） (2026-07-27T18:03:34Z) - MosaicQuant: Inlier-Outlier Disaggregation for Unified 4-Bit LLM Quantization [27.433770037419624]
大規模言語モデル(LLM)のための統一的な4ビット量子化パラダイムを提案する。
MosaicQuantは、全重量行列を高密度な4ビット基底成分に量子化し、不純物は忠実に捕獲され、不純物は必然的に定量化される。
LLaMA3とQwen3の実験では、MosaicQuantはFP16に近い精度を維持し、W16A16ベースライン上で最大1.24タイムのスピードアップを実現している。
論文 参考訳（メタデータ） (2026-06-14T07:43:43Z) - ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。
ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
論文 参考訳（メタデータ） (2026-01-29T18:35:01Z) - HAS-VQ: Hessian-Adaptive Sparse Vector Quantization for High-Fidelity LLM Compression [0.0]
HAS-VQ (Hessian-Adaptive Sparse Vec-tor Quantization) は,高感度のアウトレーヤをバルク重量分布から厳密に分離する圧縮フレームワークである。
我々は, SmolLM2-1.7B上のHAS-VQを評価し, 2つの異なる優越性を証明した。
論文 参考訳（メタデータ） (2026-01-11T15:35:10Z) - CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
本稿では,量子化による損失に対応する新しい手法を提案する。
CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。
LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
論文 参考訳（メタデータ） (2025-10-21T16:33:57Z) - ResQ: Mixed-Precision Quantization of Large Language Models with Low-Rank Residuals [10.860081994662645]
大規模言語モデル(LLM)の学習後の量子化は、推論時の計算コストを抑えるという約束を果たす。
本稿では,最先端技術をさらに推し進めるPTQ手法であるResQを提案する。
ResQは、様々なベンチマークにおいて、最近の一様および混合精度のPTQ法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-12-18T22:01:55Z) - SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。
この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。
We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
論文 参考訳（メタデータ） (2024-11-07T18:59:58Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳（メタデータ） (2020-11-20T23:51:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。