論文の概要: FoldAttention: Declared-Reference Softmax for Fast Decode and Deterministic Backward
- arxiv url: http://arxiv.org/abs/2609.33410v1
- Date: Sun, 27 Sep 2026 09:44:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 17:10:33.043083
- Title: FoldAttention: Declared-Reference Softmax for Fast Decode and Deterministic Backward
- Title（参考訳）: FoldAttention: 高速デコードと決定論的バックワードのための宣言参照ソフトマックス
- Abstract要約: KVキャッシュをスキャンする前に有限参照$Z_i$を固定するソフトマックスアテンションの付加的な定式化であるFoldAttentionを提案する。
1)最後の重みのゲートキーと値の読み出しをバイトがフェッチされる前に行い、コールごとの深さのT$は2-T$以下で鍵をカットする。
H100$T=16$で、FoldAttentionは7つの実モデル世代 1.36-2.30$times$を最速のBF16ベースラインより高速に、最大3.09$times$高速にデコードする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autoregressive decode repeatedly streams a growing KV cache, making attention a major cost at long context. Existing high-performance kernels use online softmax, which discovers a row's normalization reference as it scans keys. Earlier contributions therefore remain provisional and may require rescaling. We argue that the reference need not be discovered: softmax is invariant to a common shift, so the reference only has to keep the weights in range. We present FoldAttention, an additive formulation of softmax attention that fixes a finite reference $Z_i$ before scanning the KV cache. Each weight $2^{s_{ij}-Z_i}$ is then final when computed, so contributions add across disjoint key ranges and their quotient equals softmax attention in real arithmetic. We use this property to develop two techniques for Hopper decode: (1) final weights gate key and value reads before the bytes are fetched, and a per-call depth $T$ cuts keys below $2^{-T}$ while keeping their mass, and (2) additive partials compose split KV and shared-prefix cascades without rescaling. On H100 at $T=16$, FoldAttention decodes seven real-model generations 1.36-2.30$\times$ faster than the fastest BF16 baseline, and up to 3.09$\times$ faster across MHA and GQA shapes, at an error within 1.5% of the lowest BF16 error on six of the seven; reading every key, it is 1.14-1.30$\times$ faster at matched error. We validate on Qwen3-8B that a whole decode step is up to 1.46$\times$ faster while likelihood and long-context accuracy match those under BF16 kernels. The same principle makes the backward deterministic: CTAs round bounded partial gradients onto an integer grid declared before the reduction and add them in any order. FoldAttention thereby removes the determinism tax: its deterministic backward is up to 1.84$\times$ faster than deterministic FlashAttention-3/4 and 1.05$\times$ faster than the fastest nondeterministic kernel.
- Abstract（参考訳）: 自動回帰デコードは成長するKVキャッシュを繰り返しストリームし、長いコンテキストで注意を向ける。
既存の高性能カーネルはオンラインソフトマックスを使用しており、キーをスキャンすると行の正規化参照を検出する。
そのため、以前のコントリビューションは一時的なままであり、再スケーリングが必要になる可能性がある。
ソフトマックスは共通のシフトに不変であるため、基準はウェイトを範囲内に保たなければならない。
KVキャッシュをスキャンする前に有限参照$Z_i$を固定するソフトマックスアテンションの付加的な定式化であるFoldAttentionを提案する。
それぞれのウェイト 2^{s_{ij}-Z_i}$ は計算されたときに終値となるので、不連続な鍵範囲をまたいで寄与し、その商は実算術においてソフトマックスの注意に等しい。
1)最終重みゲートキーと値読み込みをバイトがフェッチされる前に処理し、(2)再スケーリングせずに分割KVと共有プリフィックスカスケードを構成する。
H100の$T=16$では、FoldAttentionは7つの実モデル世代 1.36-2.30$\times$を最速のBF16ベースラインより高速にデコードし、最大3.09$\times$をMHAおよびGQA形状で高速にし、7つのうち6つで最低のBF16エラーの1.5%以内でエラーを発生させる。
我々はQwen3-8Bで、全デコードステップが最大1.46$\times$高速であるのに対して、BF16カーネルのものと一致する確率と長文の精度を検証した。
CTA は縮小前に宣言された整数格子上に有界部分勾配を丸め、任意の順序でそれらを加算する。
FoldAttention は決定論的バックワードが決定論的 FlashAttention-3/4 と 1.05$\times$ よりも高速で、非決定論的カーネルよりも高速である。
関連論文リスト
- A Sharp Barrier for Consistent Submodular Maximization: Any Improvement over $2-\sqrt{2}$ Entails Exponential Queries or Linear Recourse [50.69285844345291]
我々は、要素が時間とともに到着する際のソリューションの品質と安定性のトレードオフについて研究する。
我々のアルゴリズムは,有理オラクル$を$O(varepsilon-1)$recourseで実装し,そのアルゴリズムから普遍価格証明書の存在を分離する。
論文 参考訳（メタデータ） (2026-09-09T10:13:43Z) - HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。
既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。
非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
論文 参考訳（メタデータ） (2026-09-01T18:02:02Z) - TEMPO: Makespan-Aware Expert-Parallel Load Balancing Across Memory- and Compute-Bound Regimes [6.460910545652521]
TEMPOは、クリティカルパスからミリ秒でバッチ毎のディスパッチを解決するメースパン対応ディスパッチである。
SG統合はプロセスアウトで実行され、ディスパッチを1つのイングラフカーネルにフューズする。
Testbed Bのエンドツーエンドでは、Qwen3-235Bが4-6%のスループットを獲得し、p99のレイテンシを15.6%のコストで削減している。
論文 参考訳（メタデータ） (2026-08-13T10:21:11Z) - Kernelized Linear Attention: Breaking the Capacity Wall with Symmetric Cones [4.847095054351615]
リニアアテンションは一定時間繰り返しの推論を約束するが、連想的リコールによって著しく低下する。
Kernelized Linear Attention Activations (KATA)を紹介します。
ランク1の正の半定的な特徴が良好なキャパシティ-干渉トレードオフをもたらすことを示す。
論文 参考訳（メタデータ） (2026-07-19T21:46:09Z) - Near-Optimal Regret in Adversarial Kernel Bandits [50.68324062892194]
本稿では,各ラウンドにおける損失が任意の有界要素によって誘導される逆カーネルバンドイット問題について検討する。
我々の主な結果は、$widetildeObig(sqrtT, d_*(),log|X|big)$, ここでは$d_*()$は有効次元の広く解釈された概念である。
論文 参考訳（メタデータ） (2026-05-26T06:10:24Z) - Variational Linear Attention: Stable Associative Memory for Long-Context Transformers [0.6117371161379209]
リニアアテンションはソフトマックスアテンションの二次コストを$mathcalO(T)$に下げるが、フロベニウスノルムでは$mathcalO(T)$としてメモリ状態が増加する。
メモリ更新をオンライン最小二乗問題として再構成するtextbfVariational Linear Attention (VLA) を導入する。
論文 参考訳（メタデータ） (2026-05-11T20:03:12Z) - Numerical Fragility in Transformers: A Layer-wise Theory for Explaining, Forecasting, and Mitigating Instability [0.0]
エラーがいつどこで発生するかを予測する一階のモジュールワイズ理論を提示する。
自己注意のために、3つの解釈可能な診断に分解する層間境界を導出する。
また、精度と幅を意識したLayerNormインジケータ$rho_rm LN$も導入する。
論文 参考訳（メタデータ） (2025-10-17T01:03:02Z) - HashAttention: Semantic Sparsity for Faster Inference [95.31739930718116]
本稿では,HashAttention,framing pivotal token Identificationを推薦問題として紹介する。
トークン1個あたり32ビットの補助メモリしか必要とせず、最小品質の損失を最小限に抑えられるため、最大16タイムで使用されるトークンを削減できる。
A100 GPUでは、HashAttentionを組み込むことで、GPT-FASTで4.3times$、FlashDecodeで2.54times$、GPT-FASTで最大3.12times$高スループットを実現している。
論文 参考訳（メタデータ） (2024-12-19T02:34:15Z) - Mini-Batch Kernel $k$-means [4.604003661048267]
私たちのアルゴリズムの1つのイテレーションは$widetildeO(kb2)$時間であり、フルバッチカーネルの$k$-meansに必要な$O(n2)$時間よりもはるかに高速です。
実験により,本アルゴリズムは品質の低下を最小限に抑えた10-100倍の高速化を実現していることがわかった。
論文 参考訳（メタデータ） (2024-10-08T10:59:14Z) - Accelerating Inexact HyperGradient Descent for Bilevel Optimization [84.00488779515206]
本稿では,一般的な非コンケーブ二段階最適化問題の解法を提案する。
また,非コンケーブ問題における2次定常点を求める際の既存の複雑性も改善した。
論文 参考訳（メタデータ） (2023-06-30T20:36:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。