論文の概要: SPIN: Shadow Predictive Indexer for Sparse Attention

• arxiv url: http://arxiv.org/abs/2610.09025v1
• Date: Tue, 06 Oct 2026 19:23:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.569602
• Title: SPIN: Shadow Predictive Indexer for Sparse Attention
• Title（参考訳）: SPIN: スパースアテンションのためのシャドー予測インデクサ
• Abstract要約: インデクサベースのスパースアテンションは、固定された少数の重要なトークンを渡すことで、コアアテンションのコストを低減します。 このインデクサオーバーヘッドを低減するために,SPIN(Shadow Predictive Indexer)を提案する。 SPINは、重要なKVブロックを特定するために、軽量で履歴ベースの予測を使用しており、デコードステップ毎に完全なKVキャッシュをスコアする必要がない。
• 参考スコア（独自算出の注目度）: 16.215837846489062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Indexer-based sparse attention reduces the cost of core attention by passing only a fixed, small number of important tokens to it. However, the indexer must still score the entire KV cache at every decoding step. This scoring overhead becomes a major bottleneck as the context length grows. We propose SPIN (Shadow Predictive Indexer) to reduce this indexer overhead. SPIN uses lightweight, history-based prediction to identify important KV blocks, avoiding the need to score the full KV cache at every decoding step. SPIN treats KV blocks and speculative decoding as first-class design and implementation considerations. Across extensive evaluations on long-context and agentic benchmarks, SPIN achieves 30-40% sparsity while preserving task quality. In end-to-end vLLM serving, SPIN improves output throughput by up to 14.9% and reduces median inter-token latency by up to 13.2%.
• Abstract（参考訳）: インデクサベースのスパースアテンションは、固定された少数の重要なトークンを渡すことで、コアアテンションのコストを低減します。 しかしながら、インデクサはデコードステップ毎にKVキャッシュ全体をスコアしなければなりません。 このスコアリングオーバーヘッドは、コンテキストの長さが大きくなるにつれて大きなボトルネックとなる。 このインデクサオーバーヘッドを低減するために,SPIN(Shadow Predictive Indexer)を提案する。 SPINは、重要なKVブロックを特定するために、軽量で履歴ベースの予測を使用しており、デコードステップ毎に完全なKVキャッシュをスコアする必要がない。 SPINはKVブロックと投機的復号化を第一級の設計と実装の考慮として扱う。 長期コンテキストとエージェントベンチマークに関する広範な評価では、SPINはタスク品質を維持しながら、30～40%の範囲を達成している。 エンドツーエンドのvLLMサービスでは、SPINは出力スループットを最大14.9%改善し、中央値のトークン間レイテンシを最大13.2%削減する。

関連論文リスト

• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• StepKV: Step-Aware KV Cache Compression for LLM Agents [48.99760785589948]
  キーバリュー(KV)キャッシングは、効率的な自己回帰型大言語モデル(LLM)推論に不可欠である。 KVキャッシュ圧縮はこのコストを軽減し、キャッシュされたトークンのサブセットだけを保持する。 StepKVは、推論ステップをファーストクラスの保持ユニットとして扱うことで、この目標に対処する。
  論文  参考訳（メタデータ） (2026-08-26T11:22:58Z)
• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• CTkvr: KV Cache Retrieval for Long-Context LLMs via Centroid then Token Indexing [28.184704036272787]
  長いコンテキストは、大きな言語モデルにおいて推論効率に重大な課題をもたらす。 我々は,新しい遠心分離型KV検索方式であるCTKVRを提案する。 CTKVRは、1%未満の精度で、複数のベンチマークで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-12-17T15:56:32Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• Cache Me If You Can: How Many KVs Do You Need for Effective Long-Context LMs? [79.58770714228983]
  言語モデルは、書籍要約のようなタスクに対して、ますます長いコンテキストを扱う。 これによりキーバリュー(KV)キャッシュのメモリコストが増大する。 以前の多くの研究でKVをメモリから外す方法が提案されているが、そのアプローチは好ましい設定に適合している。 KVフットプリント*は、記憶中のKVエントリの量と寿命の両方を考慮し、統一された計量として提案する。
  論文  参考訳（メタデータ） (2025-06-20T16:21:12Z)
• RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval [24.472784635757016]
  RetrievalAttentionは、注意計算を高速化し、GPUメモリ消費を減らすためのトレーニング不要のアプローチである。 RetrievalAttentionは1-3%のデータのみを必要としながら、ほぼ全注意精度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-09-16T17:59:52Z)
• SnapKV: LLM Knows What You are Looking for Before Generation [22.138577426977907]
  SnapKVは、キーバリューキャッシュサイズを効率的に最小化する、微調整不要のアプローチである。 現実世界のアプリケーションで同等のパフォーマンスを提供する。 さらなる研究は、SnapKVの実用的な応用の可能性を示している。
  論文  参考訳（メタデータ） (2024-04-22T17:42:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。