Fugu-MT 論文翻訳(概要): Elastic Threshold Attention: Learned Contextual Sparsity for Long-Context Decoding

論文の概要: Elastic Threshold Attention: Learned Contextual Sparsity for Long-Context Decoding

arxiv url: http://arxiv.org/abs/2609.20888v1
Date: Wed, 16 Sep 2026 23:23:10 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-21 18:40:16.73454
Title: Elastic Threshold Attention: Learned Contextual Sparsity for Long-Context Decoding
Title（参考訳）: Elastic Threshold Attention:Long-Context Decodingのためのコンテキストスポーザリティの学習
Abstract要約: textbfElastic Threshold Attention (ETA)は、ハードウェアアクセラレーションによるデコード速度を実現するエンドツーエンドのトレーニング可能なアーキテクチャである。 ETAはクエリ表現から直接動的でコンテキストのしきい値を予測する。 ETAは、除去するのではなく、訓練中にサブスレッショルドロジットをゼロに抑制する。
参考スコア（独自算出の注目度）: 10.47715118977525
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Massive KV caches can cause severe memory-bandwidth bottlenecks during long-context decoding. Sparse attention methods mitigate this via selective loading, but that comes at a cost: rigid heuristics drop necessary context, leading to quality degradation. We introduce \textbf{Elastic Threshold Attention (ETA)}, an end-to-end trainable architecture that achieves hardware-accelerated decoding speed without sacrificing dense model quality. ETA predicts dynamic, contextual thresholds directly from query representations, allowing the model to allocate dense-like context to difficult retrieval or reasoning steps while pruning routine tokens. To learn this policy from scratch without representation collapse, ETA \emph{multiplicatively suppresses} sub-threshold logits toward zero during training rather than deleting them. Training against this smooth uniform attention floor provides a distributed probability reservoir that \textbf{causes localized attention sinks on initial tokens to disappear}. It also enables the model to hard-prune uninformative KV blocks at inference time and absorb incidental tokens co-admitted by coarse GPU block selection. As a result, a 1.45B pretrained ETA model rivals dense attention across language modeling, commonsense reasoning, and long-context needle retrieval at $\approx 85\%$ training sparsity and $\approx 38\%$ active decode density. At inference time, we implement a custom decode kernel in Triton that screens KV blocks in $O(1)$ time using cached geometric-probabilistic bounds, delivering up to $2.5\times$ wall-clock decode speedups over FlashAttention-2 on sequences up to 512K tokens. Finally, we introduce an offline calibration algorithm for domain-specific deployments that freezes per-head constant thresholds to eliminate predictor overhead, cutting attention compute by an additional $27\%$.
Abstract（参考訳）: 大規模なKVキャッシュは、長いコンテキストのデコード中にメモリ帯域幅のボトルネックを引き起こす可能性がある。厳格なヒューリスティックは必要なコンテキストを減らし、品質が低下します。我々は,高密度モデル品質を犠牲にすることなく,ハードウェアアクセラレーションによる復号速度を実現するエンドツーエンドのトレーニング可能なアーキテクチャである‘textbf{Elastic Threshold Attention(ETA)}を紹介した。 ETAはクエリ表現から直接動的でコンテキストのしきい値を予測するため、通常のトークンをプルーニングしながら、密集したコンテキストを検索や推論の困難なステップに割り当てることが可能になる。このポリシーを表現の崩壊なしにゼロから学習するために、ETA \emph{multiplicative} はそれらを削除するのではなく、訓練中にゼロへのサブスレッドロジットを抑える。この滑らかな均一なアテンションフロアに対するトレーニングは、初期トークンに局所化されたアテンションシンクが消滅する原因となる分散確率貯水池を提供する。モデルはまた、推論時に非形式的KVブロックをハードプルークし、粗いGPUブロック選択によって共役された偶発トークンを吸収することを可能にする。その結果、1.45Bの事前訓練されたETAモデルは、言語モデリング、常識推論、長文の針の検索において、訓練間隔が$\approx 85\%、アクティブデコード密度が$\approx 38\%で、集中的に注目を集めている。 Inference time, we implement a custom decode kernel in Triton that screens KV blocks in $O(1) $ time using cacheed geometry-probabilistic bounds, deliver up to $2.5\times$ wall-clock decode speedups over FlashAttention-2 on sequences to 512K tokens。最後に、ドメイン固有のデプロイメントをオフラインでキャリブレーションするアルゴリズムを導入し、ヘッド当たりの定数閾値を凍結し、予測器のオーバーヘッドをなくし、注意計算を追加で27ドル%のコストで削減する。

論文の概要: Elastic Threshold Attention: Learned Contextual Sparsity for Long-Context Decoding

関連論文リスト