論文の概要: AttentionIndex: Accelerating Learned Sparse Attention with a Causal Inverted-File Index

• arxiv url: http://arxiv.org/abs/2611.02508v1
• Date: Mon, 02 Nov 2026 04:29:41 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:27:54.609982
• Title: AttentionIndex: Accelerating Learned Sparse Attention with a Causal Inverted-File Index
• Title（参考訳）: AttentionIndex: Causal Inverted-File Indexによる学習されたスパース注意の促進
• Abstract要約: AttentionIndexは、インデクサキーを類似度でグループ化する逆ファイルインデックスに、各クエリをルーティングする。 AttentionIndexはプリフィル中にインデックスを構築し、新しいキーを即座に検索できる。 GLM-5.3とDeepSeek-V4-Flashを100万のトークンで使用すると、AttentionIndexは完全な選択のプリフィルスループットの1.3-1.8倍のスループットを提供する。
• 参考スコア（独自算出の注目度）: 5.990320318986133
• License:
• Abstract: Learned sparse attention, used in production models such as DeepSeek-V4 and GLM-5, lets each query attend to only k keys chosen by a lightweight indexer, but the indexer still scores every key in the prefix. At one million tokens, this selection takes more than half of prefill time. Two-stage selection over contiguous blocks, as in HiSA, reduces this cost, but its recall declines as context grows at a fixed candidate budget. We present AttentionIndex, which routes each query over an inverted-file index that groups indexer keys by similarity and refines the candidates with the native indexer score. AttentionIndex builds the index during prefill, making new keys searchable immediately, reusing previous clustering to keep maintenance cheap, and exposing each query only to clusters built from its own prefix. On GLM-5.3 and DeepSeek-V4-Flash at one million tokens, AttentionIndex delivers 1.3-1.8 times the prefill throughput of exhaustive selection, and at throughput within 5% of HiSA, it recovers 17.0 and 10.0 percentage points more of the exhaustive top-k, respectively. AttentionIndex also improves accuracy on long-context benchmarks by up to 18.4 percentage points over HiSA at the same candidate budget.
• Abstract（参考訳）: DeepSeek-V4やGLM-5のようなプロダクションモデルで使用される学習されたスパークアテンションにより、各クエリは軽量インデクサによって選択されたkキーにのみ対応できるが、インデクサはプレフィックス内のすべてのキーをスコアする。 100万のトークンで、この選択はプリフィル時間の半分以上を要します。 連続ブロックに対する2段階の選択は、HiSAのように、このコストを削減するが、そのリコールは、固定された候補予算でコンテキストが増加するにつれて減少する。 提案するAttentionIndexは,インデクサキーを類似度でグループ化し,その候補をネイティブなインデクサスコアで洗練する逆ファイルインデックス上に,各クエリをルーティングする。 AttentionIndexはプリフィル中にインデックスを構築し、新しいキーを即座に検索可能にし、以前のクラスタリングを再利用してメンテナンスを安く保ち、各クエリを独自のプレフィックスから構築したクラスタに公開する。 GLM-5.3とDeepSeek-V4-Flashは100万トークンで、AttentionIndexは総選択の1.3-1.8倍のスループットを提供する。 AttentionIndexは、HiSAと同じ予算で18.4ポイントまで長文ベンチマークの精度を改善している。

関連論文リスト

• LatentIndex: Cross-Layer Sharing with Layer-Specific Selection for Sparse Attention [37.039490933483286]
  インデクサ層にまたがるマルチヘッド遅延注意の潜在共有原則を拡張したLatentIndexを紹介する。 四層共有により、LaintIndexはDeepSeek-V3.2で論理的なインデクサキャッシュを61.1%削減する。 DeepSeek-V3.2 と GLM-5 全体で、トレーニングなしの LatentIndex は、IndexCache を最大3.28 ポイント改善している。
  論文  参考訳（メタデータ） (2026-10-03T16:26:00Z)
• PIVOT: Efficient Query-Group Indexing for Token-Level Sparse Attention [19.844672835223676]
  生産システムにおいてDeepSeek S Attention(DSA)によって実装されたトークンレベルのスパースアテンションは、下流のアテンションを効率良くするが、ボトルネックをインデクサにシフトさせる。 PIVOT, Proxy Indexing Via One full-parse Traversal, トレーニング不要でDSAインデクサのドロップイン置換を行う。 DeepSeek-V3.2 と GLM-5.1 では、LongBench と RULER で、PIVOT は密度の高い DSA インデクサの精度にマッチし、最大 4 倍の速度で加速し、エンドツーエンドのレイテンシを減少させる。
  論文  参考訳（メタデータ） (2026-07-27T15:58:07Z)
• MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference [75.41426145782751]
  本稿では,DSAインデクサのリプレースとして,インデクサヘッドをエキスパートの混合プールとして扱うDSAインデクサを提案する。 MISAはロングベンチの密度の高いDSAインデクサとDeepSeek-V3.2とGLM-5で一致し、それぞれ8倍と4倍のインデクサヘッドで動作している。 私たちのTileLangカーネルは、単一のNVIDIA H200 GPU上で、DSAのオリジナルのインデクサカーネルの約3.82倍のスピードアップを実現しています。
  論文  参考訳（メタデータ） (2026-05-08T07:19:34Z)
• HISA: Efficient Hierarchical Indexing for Fine-Grained Sparse Attention [62.79085204939384]
  HISA (Hierarchical Indexed Sparse Attention) は、平らなトークンスキャンから2段階の階層的な手順に検索パスを書き換える。 カーネルレベルのベンチマークでは、HISAは64Kコンテキストでの高速化を実現している。
  論文  参考訳（メタデータ） (2026-03-30T13:59:51Z)
• IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse [68.18308357205586]
  Longcontext Agenticは、大規模言語モデルの定義ユースケースとして登場した。 Sparseは、この課題を効果的に解決し、DeepSeek Sparse Attention(DSA)は、代表的なプロダクショングレードソリューションである。 我々は、レイヤを独自のインデクサを実行するフルレイヤの小さなセットと、最も近いフルレイヤのトップkインデックスを単純に再利用する共有レイヤの大多数に分割することで、層間の冗長性を利用するIndexCacheを紹介します。
  論文  参考訳（メタデータ） (2026-03-12T17:27:21Z)
• Semi-Parametric Retrieval via Binary Bag-of-Tokens Index [71.78109794895065]
  SemI-parametric Disentangled Retrieval (SiDR)は、ニューラルパラメータから検索インデックスを分離するバイエンコーダ検索フレームワークである。 SiDRは、検索のための非パラメトリックトークン化インデックスをサポートし、BM25のようなインデックス化の複雑さを著しく改善した。
  論文  参考訳（メタデータ） (2024-05-03T08:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。