論文の概要: SANTA++: Sampling Attention through Representative Keys

• arxiv url: http://arxiv.org/abs/2609.35629v1
• Date: Mon, 28 Sep 2026 17:00:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:08:56.995215
• Title: SANTA++: Sampling Attention through Representative Keys
• Title（参考訳）: SANTA++: 代表キーによる注意のサンプリング
• Abstract要約: SANTA++は、キー値(KV)キャッシュ全体をスキャンすることなく、メモリ効率の選択に代表キーを使用する、トレーニング不要のアテンションメソッドである。 サンプルチーム内の正確な注意スコアを計算し、各チームの貢献度を、その包含確率の逆で再評価します。 32ないし64のサンプルチームで、SANTA++は集中注意のKV読み出しの16%から22%を使用し、集中注意ベースラインのスコアの94%から99%を維持している。
• 参考スコア（独自算出の注目度）: 2.7829711041633445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention often concentrates on a small subset of tokens in the context, but which subset matters changes from one query to the next. To exploit this changing structure, we introduce SANTA++, a training-free stochastic attention method that uses representative keys for memory-efficient selection without scanning the entire key-value (KV) cache. Cached keys are organized into teams, and the query scores one representative from each team to decide which teams to sample. We compute exact attention scores within the sampled teams and reweight each team's contribution by the inverse of its inclusion probability. This importance sampling correction estimates attention over the full cache, with a sampling budget that lets us trade memory reads for accuracy. Remarkably, with 32 or 64 sampled teams, SANTA++ uses 16% to 22% of dense attention's KV reads and retains 94% to 99% of the dense-attention baseline's scores on LongBench v2 and HELMET's retrieval-augmented generation subset, and 85% to 91% on RULER, with Qwen2.5-7B-Instruct at 32K context. With 31 sampled teams, our GPU implementation delivers a $1.69\times$ attention speedup over the dense FlashAttention baseline at 32K context. By reducing the number of cache entries read, SANTA++ in principle complements architectures with compressed KV representations, such as multi-head latent attention. Our kernels are available at: https://github.com/OPUSLab/santapp-kernel-demo.git.
• Abstract（参考訳）: 注意は、コンテキスト内のトークンの小さなサブセットに集中することが多いが、どのサブセットが1つのクエリから次のクエリへ変更するかは問題である。 SANTA++は、キー値(KV)キャッシュ全体をスキャンすることなく、メモリ効率の選択に代表キーを使用する訓練不要な確率的アテンション手法である。 キャッシュキーはチームによって構成され、クエリは各チームの1人の代表者にスコアを付け、どのチームがサンプリングするかを決定する。 サンプルチーム内の正確な注意スコアを計算し、各チームの貢献度を、その包含確率の逆で再評価します。 この重要サンプリング補正は、メモリ読み取りを正確に交換するためのサンプリング予算によって、全キャッシュに対する注意を見積もります。 注目すべきは、32ないし64のサンプルチームにおいて、SANTA++は、集中注意のKV読み出しの16%から22%を使用し、32KコンテキストでQwen2.5-7B-Instructを使用して、LongBench v2とHELMETの検索強化された生成サブセットの密度注意ベースラインスコアの94%から99%、RULERでは85%から91%である。 31のサンプルチームで、我々のGPU実装は、32Kコンテキストでの密度の高いFlashAttentionベースラインに対する1.69\times$ attention speedupを提供する。 キャッシュエントリの読み込み回数を減らすことで、原則としてSANTA++は、マルチヘッド遅延注意などの圧縮KV表現でアーキテクチャを補完する。 私たちのカーネルは、https://github.com/OPUSLab/santapp-kernel-demo.git.comで利用可能です。

関連論文リスト

• Where Activation Sparsity and KV-Cache Sparsity Cross in LLM Decoding [25.41362943884425]
  2つのブランチとその構成を2つのGPU上で2Kから128Kトークンに記録します。 2つの貯蓄が等しい文脈長であるバイトクロスオーバーと、各分岐に対する理想的なスピードアップ境界を導出する。 スプリットK注意の代わりにマスク付きで高密度ベースラインをタイミングさせることで、同じKVポリシーの約5倍のスピードアップが膨らむ。
  論文  参考訳（メタデータ） (2026-09-27T20:11:05Z)
• PQ-HSA: Reusing Product-Quantized Scores for Hybrid Sparse-Approximate Attention [31.05085292228752]
  PQ-HSAは選択したトークンに元のキーと値で出席する。 Llama-3.1-8BやQwen3-30B-A3BのQuestやSnapKVよりも正確である。
  論文  参考訳（メタデータ） (2026-09-27T16:47:14Z)
• Grouped Value Attention: Efficient KV Caching via On-Demand Key Reconstruction [0.7391823486666543]
  Grouped Value Attention (GVA)は、グループ化された値を格納し、学習された線形マップでコンテンツキーを再構築する。 16次元の位置変化は5つのタスクの平均精度44.18に達し、GQAは44.36、MLAは43.88である。
  論文  参考訳（メタデータ） (2026-09-08T17:58:44Z)
• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• Stochastic Sparse Attention for Memory-Bound Inference [19.301894658575502]
  SANTA(Additive No-mult Attention)は,ソフトマックス後の分布から$S ll n_k$インデックスをサンプリングすることで,値キャッシュアクセスを分散する手法である。 また、スコアステージをスパース化するための補完手法としてBernoulli $qKmathsfT$サンプリングを提案する。
  論文  参考訳（メタデータ） (2026-05-03T14:44:14Z)
• FASA: Frequency-aware Sparse Attention [56.26881872333624]
  本稿では,トークンの重要度を動的に予測することで,クエリ対応のトークン消去を実現する新しいフレームワークであるFASAを提案する。 我々の重要な発見は、小さな「支配的」FCの特定可能なサブセットが、常に注目の頭文字と高い文脈の一致を示すことである。 長いコンテキストのタスクのスペクトル全体にわたって、FASAは全てのトークン放出ベースラインを一貫して上回り、ニアオラクル精度を達成する。
  論文  参考訳（メタデータ） (2026-02-03T06:09:06Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• AttentionPredictor: Temporal Patterns Matter for KV Cache Compression [64.75459635661562]
  我々は,KVキャッシュ圧縮とクリティカルトークン識別のための注意パターンを直接予測する,学習に基づく最初の手法であるAttentionPredictorを提案する。 AttentionPredictorは、注意スコアを正確に予測し、無視可能なメモリを消費する統一予測モデルを共有する。 注意情報の大半を保持することで、AttentionPredictorは、キャッシュオフロードシナリオで13$times$KVキャッシュ圧縮と5.6$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2025-02-06T13:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。