論文の概要: Stratified Sparse Attention: Reducing the Sparse-to-Dense Gap at Extreme Sparsity

• arxiv url: http://arxiv.org/abs/2610.28441v1
• Date: Tue, 20 Oct 2026 16:02:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.911907
• Title: Stratified Sparse Attention: Reducing the Sparse-to-Dense Gap at Extreme Sparsity
• Title（参考訳）: Sparse Attention:Extreme SparsityにおけるSparse-to-Dense Gapの削減
• Abstract要約: 本稿では,サンプリング確率を組み合わせた統合フレームワークであるemph-guidedStratified Sparse Attention (SSA)を紹介する。 SSAは一致した間隔でのベースラインを一貫して改善する。 私たちのコードはhttp://www.skylight.org/SSA-Paper-Codeで公開されている。
• 参考スコア（独自算出の注目度）: 46.0078588013812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model inference over long contexts is increasingly bottlenecked by the cost of attending to a growing Key-Value (KV) cache. Sparse attention reduces this cost by accessing only a fraction of the cache, but existing methods face a trade-off between deterministic retrieval, which captures high-scoring tokens but discards residual attention mass, and sampling, which improves coverage at the cost of higher variance. Hybrid methods combine top-$k$ retrieval with uniform sampling, yet still exhibit a substantial gap from dense attention at aggressive sparsity. We introduce \emph{Stratified Sparse Attention (SSA)}, a unified framework combining deterministic retrieval with score-guided sampling. SSA deterministically attends to high-scoring tokens while sampling the residual using proxy attention scores and correcting for their inclusion probabilities, thereby recovering attention mass beyond the retrieval set. SSA encompasses top-$k$, top-$p$, and hybrid top-$k$+sampling as special cases. Across RULER, LongBench, LOFT, and AIME, and five models ranging from 3B to 27B parameters, SSA consistently improves over the baselines at matched sparsity. On RULER-HARD with Ministral-3-8B, SSA improves accuracy over the strongest practical baseline from 81.8\% to 84.2\% at 32K and from 63.8\% to 69.3\% at 128K under $50\times$ attention sparsity, recovering 94\% and 85\% of dense-attention performance, respectively. With optimized CUDA kernels, SSA achieves up to $2.96\times$ decode speedup over FlashInfer at 1M context, demonstrating that its accuracy gains translate into practical long-context inference acceleration. We open-source our code at https://github.com/skylight-org/SSA-Paper-Code.
• Abstract（参考訳）: 長期にわたる大規模な言語モデル推論は、増大するキーバリュー(KV)キャッシュへの参加コストによって、ますますボトルネックになっている。 スパース・アテンションはキャッシュのごく一部にアクセスすることでこのコストを削減するが、既存の手法では決定論的検索のトレードオフに直面している。 ハイブリッドな手法は、トップ$kの検索と均一なサンプリングを組み合わせるが、攻撃的な間隔での集中的な注意からはかなりのギャップをみせている。 本稿では,決定論的検索とスコア誘導サンプリングを組み合わせた統合フレームワークである \emph{Stratified Sparse Attention (SSA) を紹介する。 SSAは、プロキシアテンションスコアを用いて残余をサンプリングし、その包含確率を補正しながら、高スコアのトークンに決定的に出席し、検索セットを超えてアテンションマスを回復する。 SSAは、特別なケースとして、トップ$k$、トップ$p$、ハイブリッドのトップ$k$+サンプルを含んでいる。 RULER(英語版)、LongBench(英語版)、LOFT(英語版)、AIME(英語版)、および3Bから27Bパラメータの5つのモデルにおいて、SSAは一致した間隔でのベースラインを一貫して改善する。 Ministral-3-8B の RULER-HARD では、SSA は、最強の実用ベースラインを 81.8\% から 84.2\% に32K で、63.8\% から 69.3\% に、50\times$ attention sparsity で 18K で 69.3\% に改善し、それぞれ94\% と 85\% の高密度アテンション性能を回復した。 最適化されたCUDAカーネルにより、SSAは1MコンテキストでのFlashInfer上のデコードスピードアップを最大2.96ドルで達成し、その精度向上が実用的な長文推論アクセラレーションに変換されることを示した。 ソースコードはhttps://github.com/skylight-org/SSA-Paper-Code.comで公開しています。

関連論文リスト

• Joint Subspace Sparse Attention for Efficient Long-Context Decoding [9.678190958232024]
  トークンレベルの選択のために,JSSA(Joint Subspace Sparse Attention)を導入する。 JSSAはトークンスコアエラーを最小限にして、共有低次元のクエリレベル部分空間を学習する。 NVIDIA B200 GPUでは、JSSAは最大6.43ドルのデコードスループットを128Kコンテキストで達成している。
  論文  参考訳（メタデータ） (2026-10-13T18:18:47Z)
• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• Flash-BoN: Instant Drafts for Inference-Time Scaling in Diffusion Models [91.19049123903137]
  テキストから画像への推論時間のスケーリングは、単純なBest-of-N$サンプリングからガイド付き検索方法まで進歩している。 これらのアプローチは、いつ、どの程度の頻度でデノベーションを行うかに焦点が当てられているが、生成自体のコストを固定として扱うのがほとんどである。 ウォールクロック評価では、単純なBoNが既にいくつかのガイド付き検索手法に適合または優れていたことを示す。
  論文  参考訳（メタデータ） (2026-07-05T19:02:32Z)
• Scaling Attention via Feature Sparsity [50.64995497733461]
  超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。 本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。 GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
  論文  参考訳（メタデータ） (2026-03-17T08:41:50Z)
• vAttention: Verified Sparse Attention [100.98210818821688]
  vAttentionは、ユーザが指定した$(epsilon, delta)$の近似精度保証(thus, confirmed)を備えた実用的なスパースアテンションメカニズムである。 vAttentionはデータセット間のスパースアテンションの質を大幅に改善することを示す。 モデルの品質を損なうことなく高速なデコードを実現するために、推論シナリオにデプロイすることができる。
  論文  参考訳（メタデータ） (2025-10-07T08:46:08Z)
• $\texttt{SPECS}$: Faster Test-Time Scaling through Speculative Drafts [55.231201692232894]
  $textttSPECS$は、投機的デコードにインスパイアされた遅延対応のテスト時間スケーリングメソッドである。 我々の結果は、$textttSPECS$matchはビームサーチの精度を上回り、最大$sim$19.1%のレイテンシを削減していることを示している。
  論文  参考訳（メタデータ） (2025-06-15T05:50:05Z)
• Twilight: Adaptive Attention Sparsity with Hierarchical Top-$p$ Pruning [36.25003932215851]
  Twilightは、既存のスパースアテンションアルゴリズムに適応性をもたらすフレームワークである。 Twilightは、冗長トークンの少なくとも98%で適応的にプルーし、自己アテンション操作で15.4タイム=アクセラレーション、トークン毎のエンドツーエンドでのアクセラレーションで3.9タイム=アクセラレーションを実現している。
  論文  参考訳（メタデータ） (2025-02-04T23:26:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。