論文の概要: Pretraining Transformers with Quantized Softmax in Attention

• arxiv url: http://arxiv.org/abs/2609.33591v1
• Date: Sun, 27 Sep 2026 14:09:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:27:49.742189
• Title: Pretraining Transformers with Quantized Softmax in Attention
• Title（参考訳）: 注意点におけるソフトマックスの量子化による変圧器の事前学習
• Abstract要約: 低精度トランスフォーマーシステムは注目行列乗算の定量化をますます進めている。 事前トレーニング中、近似ソフトマックスはモデルと前方の計算を訓練する勾配を変化させる。 我々は,ローグリッドのキャリブレーションごとのキャリブレーション,ハードラウンドリング,および正規化に対するストレートスルーサロゲートの配置が異なる。
• 参考スコア（独自算出の注目度）: 0.8188935486482624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-precision Transformer systems increasingly quantize attention matrix multiplications, while softmax often remains at higher precision. During pretraining, an approximate softmax changes the gradients that train the model as well as its forward computation. We study this interaction with K-interval attention, which approximates the exponential using K+1 grid values. We vary per-row grid calibration, interpolation versus hard rounding, and the placement of a straight-through surrogate relative to normalization. We derive the corresponding backward rules, including calibration derivatives, and compare these choices in pretraining experiments matched on model, data, and optimizer. Detaching the row extrema leaves the forward computation unchanged but produces a delayed increase in validation loss. With hard rounding at K=4, min-max calibration and a pre-normalization surrogate incur a large loss gap; changing either choice substantially reduces it. At 124M parameters and 2.5B training tokens, fixed-window calibration with a post-normalization surrogate yields a validation loss gap of +0.019 nats relative to softmax at K=4, and with a pre-normalization surrogate yields +0.004 nats at K=16.
• Abstract（参考訳）: 低精度トランスフォーマーシステムは注目行列の乗算をますます定量化するが、ソフトマックスは高い精度で残ることが多い。 事前トレーニング中、近似ソフトマックスはモデルと前方の計算を訓練する勾配を変化させる。 K+1グリッド値を用いて指数関数を近似したK-インターバルアテンションとの相互作用について検討する。 我々は,ローグリッドのキャリブレーション,補間対硬丸化,および正規化に対するストレートスルーサロゲートの配置が異なる。 我々は、キャリブレーション微分を含む対応する後方規則を導出し、モデル、データ、オプティマイザに適合する事前学習実験において、これらの選択を比較した。 行 extrema の取り外しは、フォワード計算をそのまま残すが、検証損失が遅延的に増加する。 K=4の硬い丸みで、min-maxキャリブレーションとプレ正規化サロゲートは大きな損失ギャップを生じさせ、どちらの選択も大幅に減少させる。 124M のパラメータと2.5B のトレーニングトークンでは、正規化後サロゲートによる固定ウィンドウキャリブレーションにより、K=4 でソフトマックスに対して+0.019 Natsのバリデーション損失ギャップが得られ、K=16 で+0.004 Natsのプリ正規化前のサロゲートが+0.004 Natsとなる。

関連論文リスト

• Beyond the Matrix Sign: Quadratic Spectral Descent [6.589542614722917]
  最適更新の特異値と特異方向の両方を曲率で変化させることができることを示す。 GPTプレトレーニングの実験では、QSDはムーンと最近のムーンの変種に対する検証損失を一貫して改善している。
  論文  参考訳（メタデータ） (2026-09-07T15:07:24Z)
• N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
  N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。 N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
  論文  参考訳（メタデータ） (2026-05-13T08:46:17Z)
• Precision Tracked Transformer via Kalman Filtering, Kriging and Process Noise [11.579218102536762]
  Transformerは現代のAIの基礎的なビルディングブロックだが、不確実性の原則的扱いは提供していない EmphBayesian Filtering Transformer (BFT) の例を示す。 BFTは任意のトランスフォーマー層を無視可能なオーバーヘッドで置き換える。
  論文  参考訳（メタデータ） (2026-05-12T22:22:15Z)
• From Recency Bias to Stable Convergence Block Kaczmarz Methods for Online Preference Learning in Matchmaking Applications [0.0]
  本稿では,コメンテータシステムにおけるリアルタイムの個人化マッチングのための,Kaczmarzに基づく選好学習アルゴリズムのファミリーを提案する。 BlockNKは、バッチGram解決とセッション後L2正規化を組み合わせることで、最も優先度の高いアライメントを実現する。
  論文  参考訳（メタデータ） (2026-04-11T00:18:20Z)
• Discrete Tokenization Unlocks Transformers for Calibrated Tabular Forecasting [0.0]
  トークンライザは わざとシンプルに 離散化された語彙を使います 基本的なトークン化でさえ 注目の力を解き放ちます 600Kエンティティ(5M)では、XGBoostを10.8%調整し(35.94sと40.31sの中央値MAE)、適応シグマチェックポイントでKS45を達成した。
  論文  参考訳（メタデータ） (2026-03-08T03:51:32Z)
• Smooth Calibration and Decision Making [11.51844809748468]
  オンライン予測器をキャリブレーションするために$eps$で後処理すると、$O(sqrtepsilon)$ ECEとCDLが得られることを示す。 最適境界は、既存のオンラインキャリブレーションアルゴリズムと比較して最適ではない。
  論文  参考訳（メタデータ） (2025-04-22T04:55:41Z)
• Orthogonal Causal Calibration [55.28164682911196]
  我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。 以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• KrADagrad: Kronecker Approximation-Domination Gradient Preconditioned Stochastic Optimization [69.47358238222586]
  第2の順序付けにより、パラメータのステップサイズと方向を変更でき、損失曲率に適応できる。 最近、シャンプーはこれらの要求を減らすためにクローネッカーファクター付きプレコンディショナーを導入した。 不条件行列の逆行列根を取る。 これは64ビットの精度が必要で、ハードウェアの制約が強い。
  論文  参考訳（メタデータ） (2023-05-30T21:15:45Z)
• Towards Accurate Post-Training Quantization for Vision Transformer [48.779346466374406]
  既存のトレーニング後の量子化手法は依然として深刻な性能低下を引き起こしている。 APQ-ViTは、既存のトレーニング後の量子化手法を証明マージンによって超越している。
  論文  参考訳（メタデータ） (2023-03-25T03:05:26Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。