Fugu-MT 論文翻訳(概要): EFQ-Softmax: Exp-Free Quantization for Softmax

論文の概要: EFQ-Softmax: Exp-Free Quantization for Softmax

arxiv url: http://arxiv.org/abs/2609.09721v1
Date: Wed, 09 Sep 2026 05:04:33 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:08.905474
Title: EFQ-Softmax: Exp-Free Quantization for Softmax
Title（参考訳）: EFQ-Softmax:SoftmaxのためのExp-free量子化
Abstract要約: 低ビットアテンションは、$QKtop$と$PV$の行列乗算をFP8またはFP4マトリクスエンジンに移動させることでトランスフォーマー推論を加速させる。ソフトマックスパスはしばしばシフトスコア指数を高い精度で評価し、一時的な確率ブロックを形成し、低ビット$PV$乗算の前に量子化する。ブロックスケールのE2M1オペランドに注目スコアを直接マップする低ビット確率生成法EFQ-Softmaxを提案する。
参考スコア（独自算出の注目度）: 3.5456060266135734
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Low-bit attention accelerates Transformer inference by moving the $QK^\top$ and $PV$ matrix multiplications to FP8 or FP4 matrix engines. However, the softmax path often evaluates shifted-score exponentials in higher precision, forms a temporary probability block, and quantizes it before low-bit $PV$ multiplication. This exp-then-quantize path creates a mismatch between a high-precision probability producer and a low-bit matrix consumer. We propose EFQ-Softmax (Exp-Free Quantization for Softmax), a low-bit probability-generation method that directly maps shifted attention scores to block-scaled E2M1 operands. For each microscaling block, EFQ-Softmax selects an exponent-only scale from the local maximum, maps the shifted scores to a normalized residual domain, and generates nonnegative E2M1 probability codes using a single affine rule. The resulting operand is used consistently in both the $\widetilde{P}V$ numerator update and the $\widetilde{P}\mathbf{1}$ denominator update. The FlashAttention-style row-maximum update, historical rescaling, high-precision accumulation, and final normalization remain unchanged. We evaluate end-to-end quality on Qwen3-8B, Qwen3-VL-8B-Instruct, and WAN2.2-TI2V-5B, and separately measure kernel-level performance on the A5 vector unit. EFQ-Softmax improves the Qwen3-8B seven-task mean from 0.6749 with MXFP4 to 0.6773 and the Qwen3-VL nine-task mean from 0.7826 to 0.8000. On WAN2.2, it maintains temporal consistency and visual quality comparable to the FP16 and MXFP4 baselines under VBench. On the A5 vector unit, EFQ-Softmax reduces the vector-stage latency of the fused probability-generation kernel by 40.33% on average across sequence lengths from 16K to 128K. These results show that direct low-bit probability generation can replace the conventional exp-then-quantize path while preserving end-to-end model quality.
Abstract（参考訳）: 低ビットアテンションは、$QK^\top$と$PV$行列乗算をFP8またはFP4行列エンジンに移動させることでトランスフォーマー推論を加速させる。しかし、ソフトマックスパスは高い精度でシフトスコア指数を評価し、一時的な確率ブロックを形成し、低ビット$PV$乗算の前に量子化する。このexp-then-quantizeパスは、高精度な確率プロデューサと低ビット行列コンシューマのミスマッチを生成する。ブロックスケールのE2M1オペランドに直接注目スコアをマップする低ビット確率生成法であるEFQ-Softmaxを提案する。各マイクロスケーリングブロックに対して、EFQ-Softmaxは、局所的な最大値から指数のみのスケールを選択し、シフトしたスコアを正規化された残留領域にマップし、単一のアフィン規則を用いて非負のE2M1確率コードを生成する。結果として得られるオペランドは、$\widetilde{P}V$ numerator updateと$\widetilde{P}\mathbf{1}$ denominator updateの両方で一貫して使用される。 FlashAttentionスタイルの行最大更新、履歴の再スケーリング、高精度の蓄積、最終的な正規化は変わらない。我々は,Qwen3-8B,Qwen3-VL-8B-Instruct,WAN2.2-TI2V-5Bのエンドツーエンド品質を評価し,A5ベクトルユニットのカーネルレベル性能を別々に測定した。 EFQ-SoftmaxはQwen3-8Bの7タスク平均を0.6749、MXFP4は0.6773、Qwen3-VLの9タスク平均を0.7826から0.8000に改善している。 WAN2.2では、VBenchの下でのFP16とMXFP4のベースラインに匹敵する時間的一貫性と視覚的品質を維持している。 A5ベクトルユニットでは、EFQ-Softmaxは16Kから128Kまでのシーケンス平均で、融合した確率生成カーネルのベクトルステージ遅延を40.33%削減する。これらの結果から,従来の exp-then-quantize パスの代わりに,エンド・ツー・エンドのモデル品質を保ちながら,直接低ビット確率生成が可能であることが示唆された。

関連論文リスト

VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。 V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
論文参考訳（メタデータ） (2026-09-14T16:17:35Z)
Hardware-Aware FP4 FlashAttention-4 [4.560316459247797]
Direct-PマップはFP4の確率を直接スコアし、2.13$times$ the bfloat16 (BF16) forward throughput on a NVIDIA GB200に達する。一致した分散トレーニングは、FP8確率と値を保持し、テストされたMXFP4の確率/値のトレーニング軌道は分岐する。
論文参考訳（メタデータ） (2026-09-03T17:12:35Z)
Taming the Exponential: A Fast Softmax Surrogate for Integer-Native Edge Inference [0.8488076117647583]
本稿では,最大集中型注目ロジットのクリップ付き線形写像を用いて,指数的ソフトマックス関数に対する有界単調サロゲートを提案する。この近似は安定確率分布を生成し、元のロジットの順序を保ち、負の値を持たない。本稿では、AMD Versal AI Engineをターゲットとした高スループットシナリオのためのHCCSのハードウェアモチベーション実装について述べる。
論文参考訳（メタデータ） (2026-04-02T17:32:29Z)
V-ABFT: Variance-Based Adaptive Threshold for Fault-Tolerant Matrix Multiplication in Mixed-Precision Deep Learning [2.1424453911169596]
V-ABFTは、検証差を直接モデル化することで、より厳密なエラー境界を達成する分散ベースの適応しきい値アルゴリズムである。 V-ABFTは、しきい値と実際のエラーの比率を、FP32/FP64で約7-20times$、BF16で48-158times$に下げる。
論文参考訳（メタデータ） (2026-02-08T16:21:02Z)
Self-Adjust Softmax [62.267367768385434]
ソフトマックス関数はトランスフォーマーアテンションにおいて重要であり、アテンションスコアの各行を1にまとめて正規化する。この問題に対処するために、$softmax(x)$を$x cdot Softmax(x)$に修正し、その正規化された変種である$frac(x - min(x_min,0))max(0,x_max)-min(x_min,0)cdot softmax(x)$を変更することを提案する。
論文参考訳（メタデータ） (2025-02-25T15:07:40Z)
r-softmax: Generalized Softmax with Controllable Sparsity Rate [11.39524236962986]
本稿では,ソフトマックスの修正であるr-softmaxを提案し,スパース確率分布を制御可能なスペーサ率で出力する。我々は、r-softmaxが他のソフトマックス代替品よりも優れており、元のソフトマックスと高い競争力を持つ複数のマルチラベルデータセットを示す。
論文参考訳（メタデータ） (2023-04-11T14:28:29Z)
Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文参考訳（メタデータ） (2022-11-15T19:10:12Z)
Softmax-free Linear Transformers [90.83157268265654]
視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
論文参考訳（メタデータ） (2022-07-05T03:08:27Z)
SOFT: Softmax-free Transformer with Linear Complexity [112.9754491864247]
視覚変換器(ViT)は、パッチワイド画像トークン化と自己認識によって、様々な視覚認識タスクの最先端を推し進めている。線形複雑度で自己注意を近似する様々な試みが自然言語処理で行われている。これらの制限は、近似中にソフトマックスの自己注意を維持することに根ざしている。ソフトマックスフリー変圧器(SOFT)を初めて提案する。
論文参考訳（メタデータ） (2021-10-22T17:57:29Z)
Consistent Structured Prediction with Max-Min Margin Markov Networks [84.60515484036239]
二項分類のためのマックスマージン法は、最大マージンマルコフネットワーク(M3N$)の名前で構造化予測設定まで拡張されている。我々は、学習問題を"max-min"マージンの定式化で定義し、結果のメソッドmax-minマージンマルコフネットワーク(M4N$)を命名することで、そのような制限を克服する。マルチクラス分類,順序回帰,シーケンス予測,ランキング実験により,提案手法の有効性が示された。
論文参考訳（メタデータ） (2020-07-02T10:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。