論文の概要: Self-Indexing Attention for Compression-Compatible Sparse Long-Context LLM Inference

• arxiv url: http://arxiv.org/abs/2609.13205v1
• Date: Sun, 16 Aug 2026 03:41:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 16:32:15.65717
• Title: Self-Indexing Attention for Compression-Compatible Sparse Long-Context LLM Inference
• Title（参考訳）: 圧縮整合性スパースLLM推論のための自己インデクシング注意法
• Abstract要約: スパース長文推論はプリフィルとデコードの両方で効率的なトークン検索を必要とする。 本稿では,共有変換領域のサイン-マグニチュード表現に基づく学習自由度フレームワークであるSelf-Indexing Attentionを提案する。
• 参考スコア（独自算出の注目度）: 35.07313012751119
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse long-context inference requires efficient token retrieval in both prefill and decode. Existing methods often use different retrieval strategies for the two stages, preventing one retrieval representation from being reused throughout inference. We propose Self-Indexing Attention, a training-free framework built on a shared transform-domain sign-magnitude representation. The key signs provide a reusable token-level index for grouped prefill selection and decode retrieval, while the same representation remains compatible with external KV-cache compression without separate indexer metadata. This 1-bit index enables efficient retrieval through bitwise operations widely supported by modern accelerators. At 5% attention density, Self-Indexing Attention remains close to dense attention on LongBench and RULER and achieves up to 6.1x prefill and 10.3x decode attention-operator speedups. Experiments with TurboQuant and DeepSeekV4-Flash further demonstrate compatibility with low-bit KV-cache compression and pretrained sparse-attention indexers.
• Abstract（参考訳）: スパース長文推論はプリフィルとデコードの両方で効率的なトークン検索を必要とする。 既存の手法では、2つの段階で異なる検索戦略を使用することが多く、推論を通して1つの検索表現が再利用されるのを防ぐ。 本稿では,共有変換領域のサイン-マグニチュード表現に基づく学習自由度フレームワークであるSelf-Indexing Attentionを提案する。 キーサインはグループ化されたプリフィル選択とデコード検索のための再利用可能なトークンレベルインデックスを提供するが、同じ表現はインデクサメタデータを分離せずに外部のKV-cache圧縮と互換性がある。 この1ビット指数は、現代の加速器で広く支持されているビットワイズ演算による効率的な検索を可能にする。 5%の注意密度で、セルフインデックス・アテンションはLongBenchとRULERに近づき、最大6.1倍のプレフィルと10.3倍のアテンション・オペレーショナル・スピードアップを達成している。 TurboQuantとDeepSeekV4-Flashの実験では、低ビットのKV-cache圧縮と事前訓練されたスパースアテンションインデクサとの互換性が示されている。

関連論文リスト

• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
  SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-28T15:53:34Z)
• Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
  SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。 SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T15:40:40Z)
• Self-Indexing KVCache: Predicting Sparse Attention from Compressed Keys [30.377113902938678]
  既存のアプローチでは、スパーシリティ予測と圧縮を別々のモジュールとして扱い、関連するトークンを選択するための補助的なインデックス構造と、メモリ使用量を減らすための複雑な量子化スキームに依存している。 本稿では, 圧縮鍵表現を記憶として扱うだけでなく, 効率よく注意を向けられる自己インデクシング構造として, 新たなパラダイムを提案する。 符号ベースの1ビットベクトル量子化(VQ)方式を設計することにより、ハードウェアに優しい単一のフォーマットで圧縮と検索を統一する。
  論文  参考訳（メタデータ） (2026-03-15T05:02:17Z)
• Multi-Vector Index Compression in Any Modality [73.7330345057813]
  後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。 インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。 AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
  論文  参考訳（メタデータ） (2026-02-24T18:57:33Z)
• S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference [11.779449360037518]
  S3-Attentionは,長期コンテキスト処理を注目に順応した内因性検索として扱うメモリファースト推論時フレームワークである。 S3-Attentionは、軽量なスパースオートエンコーダを使用して、トランジェントキーとクエリプロジェクションをトップkスパース機能識別子にデコードする。 単一のストリーミングスキャン中にトークンの位置やスパンにCPUベースの逆インデックスマッピング機能を構築する。
  論文  参考訳（メタデータ） (2026-01-25T05:25:22Z)
• Semi-Parametric Retrieval via Binary Bag-of-Tokens Index [71.78109794895065]
  SemI-parametric Disentangled Retrieval (SiDR)は、ニューラルパラメータから検索インデックスを分離するバイエンコーダ検索フレームワークである。 SiDRは、検索のための非パラメトリックトークン化インデックスをサポートし、BM25のようなインデックス化の複雑さを著しく改善した。
  論文  参考訳（メタデータ） (2024-05-03T08:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。