論文の概要: CISA: Retrofitting Dense Attention Models with Chunk-Indexed Sparse Attention

• arxiv url: http://arxiv.org/abs/2611.03200v1
• Date: Mon, 02 Nov 2026 14:25:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 05:48:32.669554
• Title: CISA: Retrofitting Dense Attention Models with Chunk-Indexed Sparse Attention
• Title（参考訳）: CISA:チャンク付きスパースアテンションを用いたディエンスアテンションモデルの再適合
• Abstract要約: Chunk-Indexed Sparse Attention (CISA) は、勾配更新なしで事前訓練された集中注意モデルに適合する。 CISAは、既存のキーのコンパクトなサマリーを使用して、固定サイズのKVチャンクを選択する。 NVIDIA Nemotron 3 Nano and Ultra および Inkling-Small を用いた CISA の評価を行った。
• 参考スコア（独自算出の注目度）: 12.099024313193047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context LLM inference is costly because attention repeatedly reads a growing key-value (KV) history. We introduce Chunk-Indexed Sparse Attention (CISA), which retrofits pretrained dense attention models without gradient updates. CISA selects fixed-size KV chunks using compact summaries of existing keys, avoiding token-level indexing and a separate full-length index cache. It uses one indexing query per KV group and shares selected chunks across queries in that group. During prefill, QShare reuses selections across adjacent queries to reduce indexing cost and improve KV reuse and GPU utilization. We evaluate CISA on NVIDIA Nemotron 3 Nano and Ultra, and Inkling-Small. In one-layer BF16 benchmarks at batch size 32 using Ultra's per-device attention dimensions, core attention is 11.7x faster for prefill queries near the end of a 1M-token prompt and 13.0x faster during decode. Including chunk scoring, selection, and all other measured GPU work, speedups are 8.6x and 3.0x. On Ultra NVFP4 with a 4,096-chunk budget, aggregate scores stay within 1.5 percentage points of dense attention on MRCR, LongBench v2, and GraphWalks. RULER sweeps on Nano and Ultra BF16 up to one million tokens show scores within 2.05 percentage points of dense attention with 8-16x fewer KV reads. Serving million-token prompts with 32 concurrent requests and 4K output tokens per request, CISA achieves 2.29x the end-to-end throughput of dense attention using Nemotron 3 Ultra NVFP4 on four NVIDIA B300 GPUs. Selecting fewer chunks increases throughput to 2.61x; in separate GraphWalks evaluations, the smaller budget widens the aggregate score gap from 1.49 to 3.59 percentage points. These results expose a practical quality-speed tradeoff without sparse training.
• Abstract（参考訳）: 長文LLM推論は、注目度が増大するキー値(KV)履歴を繰り返し読み取るため、コストがかかる。 CISA(Chunk-Indexed Sparse Attention)を導入する。 CISAは、既存のキーのコンパクトなサマリを使用して固定サイズのKVチャンクを選択する。 KVグループごとにひとつのインデックスクエリを使用し、そのグループ内のクエリ間で選択されたチャンクを共有する。 プリフィルの間、QShareは隣接するクエリの選択を再利用し、インデックス作成コストを削減し、KVの再利用とGPU利用を改善する。 NVIDIA Nemotron 3 Nano and Ultra および Inkling-Small を用いた CISA の評価を行った。 Ultraのデバイス毎のアテンションディメンションを使用して、バッチサイズ32の1層BF16ベンチマークでは、1Mトークンプロンプトの終了付近でクエリをプリフィルする場合、コアアテンションは11.7倍、デコード時には13.0倍高速である。 チャンクスコア、選択、その他の測定されたGPU作業を含むと、スピードアップは8.6倍と3.0倍である。 ウルトラNVFP4では4,096チャンクの予算で、MRCR、LongBench v2、GraphWalksのスコアは1.5パーセント以内に留まる。 RULERはNanoとUltra BF16のトークンを100万枚まで精査し、8～16倍のKV読取率で2.05ポイント以内のスコアを示した。 32の同時リクエストと4K出力トークンで100万のプロンプトを実行することで、CISAは4つのNVIDIA B300 GPU上でNemotron 3 Ultra NVFP4を使用して、集中注意のエンドツーエンドスループットの2.29倍を達成する。 チャンクの少ない選択はスループットを2.61倍にし、グラフウォークスの評価では、より小さな予算でスコアの差を1.49から3.59ポイントに拡大する。 これらの結果は、スパーストレーニングなしで実践的な品質と速度のトレードオフを露呈する。

関連論文リスト

• SPIN: Shadow Predictive Indexer for Sparse Attention [16.215837846489062]
  インデクサベースのスパースアテンションは、固定された少数の重要なトークンを渡すことで、コアアテンションのコストを低減します。 このインデクサオーバーヘッドを低減するために,SPIN(Shadow Predictive Indexer)を提案する。 SPINは、重要なKVブロックを特定するために、軽量で履歴ベースの予測を使用しており、デコードステップ毎に完全なKVキャッシュをスコアする必要がない。
  論文  参考訳（メタデータ） (2026-10-06T19:23:10Z)
• Where Activation Sparsity and KV-Cache Sparsity Cross in LLM Decoding [25.41362943884425]
  2つのブランチとその構成を2つのGPU上で2Kから128Kトークンに記録します。 2つの貯蓄が等しい文脈長であるバイトクロスオーバーと、各分岐に対する理想的なスピードアップ境界を導出する。 スプリットK注意の代わりにマスク付きで高密度ベースラインをタイミングさせることで、同じKVポリシーの約5倍のスピードアップが膨らむ。
  論文  参考訳（メタデータ） (2026-09-27T20:11:05Z)
• PQ-HSA: Reusing Product-Quantized Scores for Hybrid Sparse-Approximate Attention [31.05085292228752]
  PQ-HSAは選択したトークンに元のキーと値で出席する。 Llama-3.1-8BやQwen3-30B-A3BのQuestやSnapKVよりも正確である。
  論文  参考訳（メタデータ） (2026-09-27T16:47:14Z)
• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference [75.41426145782751]
  本稿では,DSAインデクサのリプレースとして,インデクサヘッドをエキスパートの混合プールとして扱うDSAインデクサを提案する。 MISAはロングベンチの密度の高いDSAインデクサとDeepSeek-V3.2とGLM-5で一致し、それぞれ8倍と4倍のインデクサヘッドで動作している。 私たちのTileLangカーネルは、単一のNVIDIA H200 GPU上で、DSAのオリジナルのインデクサカーネルの約3.82倍のスピードアップを実現しています。
  論文  参考訳（メタデータ） (2026-05-08T07:19:34Z)
• StreamIndex: Memory-Bounded Compressed Sparse Attention via Streaming Top-k [0.0]
  DeepSeek-V3.2およびV4では、圧縮スパース注意(Compressed Sparse Attention, CSA)が導入されている。 本稿では,CSAパイプラインのトリトン実装であるStreamIndexについて紹介する。 私たちのコントリビューションはインデクサのステップをターゲットにしています。より高速な注目カーネルや実チェックポイントのエンド・ツー・エンドの動作の主張はしません。
  論文  参考訳（メタデータ） (2026-05-04T13:19:29Z)
• LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models [49.93891888238178]
  ブロックワイド拡散言語モデル(DLM)は任意の順序で複数のトークンを生成し、自動回帰復号パイプラインに代わる有望な代替手段を提供する。 異なるクエリが異なるプレフィックス位置を選択する場合、KVインフレーション問題により、DLM上では裸のスパースアテンションが失敗する。 キャッシュされたプレフィックスアテンション結果を安定したトークンに再利用し、アクティブトークンのみにスパースアテンションを適用するLOSA(Locality-aware Sparse Attention)を提案する。
  論文  参考訳（メタデータ） (2026-04-13T20:53:51Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。