論文の概要: Approximating Softmax in Pretrained LLMs: Model Sensitivity and Kernel Acceleration

• arxiv url: http://arxiv.org/abs/2609.33586v1
• Date: Sun, 27 Sep 2026 14:03:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:28:49.714234
• Title: Approximating Softmax in Pretrained LLMs: Model Sensitivity and Kernel Acceleration
• Title（参考訳）: プレトレーニングLDMにおけるソフトマックスの近似:モデル感度とカーネル加速度
• Abstract要約: NVIDIA Blackwell B200では、テンソルコアスループットが特殊関数の指数スループットを2桁以上上回る。 我々は,10個のフリーズデコーダのみのモデルにおいて,ソフトマックスを推論で近似することにより,事前学習モデルに何が必要かを特徴付ける。 B200では、パッチされたFP8の注目は因果8Kでは12.4%、非因果8Kでは25.8%、ホスト側の呼び出し待ち時間測定では25.8%である。
• 参考スコア（独自算出の注目度）: 0.8188935486482624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On NVIDIA Blackwell B200, tensor-core throughput outpaces special-function exponential throughput by more than two orders of magnitude, exposing exponential evaluation in fused attention kernels. A pretrained Transformer, however, may not need it evaluated accurately at every element. We characterize what a pretrained model does need by approximating softmax at inference in ten frozen decoder-only models (0.5B-72B). The number of positions the softmax map assigns probability to and within-row resolution can be cut substantially, yet uniform weighting of the same positions is damaging. Where a fixed resolution budget is placed matters as much as its size, with resolution near the row maximum consistently favored. Perturbations matched on scalar distortion produce model-dependent responses of opposite sign. These findings motivate Rowmax-PoT, a coarse logarithmic weight representation anchored at each row maximum, and Rowmax-H15, its hardware specialization in FlashAttention-4. On B200, the patched FP8 attention forward is 12.4% faster at causal 8K and 25.8% faster at non-causal 8K in host-side call-latency measurements; board energy per forward falls by 8.4% at causal 16K. Measured separately on the BF16 kernel path at 2K, Rowmax-H15 increases perplexity by 0.091-0.492% across five models from three families.
• Abstract（参考訳）: NVIDIA Blackwell B200では、テンソルコアスループットが特殊関数の指数スループットを2桁以上上回り、融合されたアテンションカーネルで指数的評価を行う。 しかし、事前訓練されたトランスフォーマーは、すべての要素で正確に評価する必要はないかもしれない。 フリーズデコーダのみの10種類のモデル (0.5B-72B) において,ソフトマックスを推論で近似することにより,事前学習モデルに何が必要かを特徴付ける。 ソフトマックス写像が確率を割り当てる位置の数とロー内分解能は大幅に削減できるが、同じ位置の均一な重み付けが損なわれる。 固定された解像度の予算は、そのサイズと同じくらい重要であり、列の最大値付近の解像度は一貫して好まれる。 スカラー歪みに一致する摂動は、反対符号のモデル依存応答を生成する。 これらの発見は、各行の最大値に固定された粗い対数重み表現であるRowmax-PoTと、FlashAttention-4におけるハードウェア特殊化であるRowmax-H15を動機付けている。 B200では、パッチされたFP8のフォワードは因果8Kで12.4%、非因果8Kで25.8%、ホスト側の呼び出し遅延測定ではボードエネルギーは因果16Kで8.4%減少する。 2KでのBF16カーネルパスで別々に測定されたRowmax-H15は、3つのファミリーの5つのモデルで0.091-0.492%のパープレキシティを増大させた。

関連論文リスト

• VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
  トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。 V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。 ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
  論文  参考訳（メタデータ） (2026-09-14T16:17:35Z)
• EFQ-Softmax: Exp-Free Quantization for Softmax [3.5456060266135734]
  低ビットアテンションは、$QKtop$と$PV$の行列乗算をFP8またはFP4マトリクスエンジンに移動させることでトランスフォーマー推論を加速させる。 ソフトマックスパスはしばしばシフトスコア指数を高い精度で評価し、一時的な確率ブロックを形成し、低ビット$PV$乗算の前に量子化する。 ブロックスケールのE2M1オペランドに注目スコアを直接マップする低ビット確率生成法EFQ-Softmaxを提案する。
  論文  参考訳（メタデータ） (2026-09-09T05:04:33Z)
• A.X K2 Technical Report [16.892621349469206]
  我々は、強調アプリケーションのための高性能基盤として、スクラッチから訓練された言語モデルであるA.X K2を紹介する。 A.X K2はA.X K1を30ポイント以上改善している。 A.X K2は強力なオープンウェイトベースラインに対して競争力があり、数学や韓国語のベンチマークでそれらをマッチングまたは超える。
  論文  参考訳（メタデータ） (2026-08-31T03:04:30Z)
• BF1: A Causal Dyadic Sparse-Attention Retrofit for Efficient Long-Context Transformers [0.0]
  本研究では,小面積の局所的近傍,大域的な第1ブロック,および対数的に空間化された歴史的ブロックを結合したブロックアライン・ダイアルド・スパース・アテンション経路について検討する。 最適化されたBF16の実装は、2Kトークンと4Kトークンの間で高い注意を払い、32Kで1層あたり10.91倍のプリフィルスピードアップに達する。 本稿では,数値的正当性,選択相互作用スケーリング,カーネル性能,部分モデル言語モデリング,および一致した次世代言語モデリングについて検討する。
  論文  参考訳（メタデータ） (2026-08-19T18:35:12Z)
• SoftWater: Class-Aware Rate Allocation for Softmax Quantization [5.213778368155993]
  訓練後の量子化パイプラインは、通常、ソフトマックス出力層を高精度に残す。 現代の語彙を持つ小さなLLMでは、頭部は全パラメータの15-30%を占めており、fp16ヘッドを持つ名目2ビットのモデルは重量の何倍ものビットを格納することができる。 我々は、元の出力分布と量子化された出力分布のKL分散の下で、レート歪み問題としてソフトマックス層量子化を仮定する。
  論文  参考訳（メタデータ） (2026-08-12T13:06:50Z)
• Measuring Maximum Activations in Open Large Language Models [60.3514350516308]
  集中度, MoE, 視覚言語, 中間訓練, 命令調整型変異にまたがる8つのオープンファミリーから27個のチェックポイントで, グローバルおよび階層的に最大値を測定した。 最大アクティベーションサイズは、単純なサイズの副産物ではなく、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性である、と結論付けます。
  論文  参考訳（メタデータ） (2026-05-15T03:31:51Z)
• Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
  DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。 因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
  論文  参考訳（メタデータ） (2026-03-23T17:57:24Z)
• BAPS: A Fine-Grained Low-Precision Scheme for Softmax in Attention via Block-Aware Precision reScaling [12.43240392025487]
  特定の8ビット浮動小数点フォーマット (HiF8) とブロック対応のソフトマックス再スケーリングを利用した新しい低精度ワークフローを提案する。 我々のアルゴリズムの革新は、モデルの精度を著しく損なうことなく、低精度のソフトマックスを実現する。 我々の研究は、チップ面積を増大させることなく、エンドツーエンドの推論スループットを2倍にする方法を開拓する。
  論文  参考訳（メタデータ） (2026-02-02T13:12:18Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
  量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。 最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。 我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
  論文  参考訳（メタデータ） (2022-12-19T18:48:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。