論文の概要: Coarse Semantic Blocks for Efficient Training-Free Sparse Attention

• arxiv url: http://arxiv.org/abs/2611.04313v1
• Date: Tue, 03 Nov 2026 04:46:30 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:22:17.472602
• Title: Coarse Semantic Blocks for Efficient Training-Free Sparse Attention
• Title（参考訳）: 効率的な訓練自由スパース注意のための粗い意味ブロック
• Abstract要約: 本稿では,プリフィルとデコードの両方を高速化するために,プロンプト固有のキーインデックスを構築する訓練不要なスパースアテンション手法を提案する。 このメソッドはキーを大きなセマンティックブロックに集約し、非連続的な位置からトークンをグループ化する。 NVIDIA H200上での2つのハイブリッドLCM, Qwen3.5-4Bと35B-A3Bを評価した。
• 参考スコア（独自算出の注目度）: 4.35316501394574
• License:
• Abstract: We introduce a training-free sparse attention method that builds a prompt-specific key index to accelerate both prefill and decoding. The method clusters the keys into large semantic blocks that group tokens from noncontiguous positions. Each query position selects blocks by scoring their centroids and attends to the original keys and values within them. Queries that select the same block are processed together, so prefill stays fast even though each query chooses its own blocks. Large blocks make centroid scoring and this grouped processing cheap, so each query can attend to more tokens in the same time. Larger blocks with a larger token budget can thus be both faster and more accurate on long-context tasks than smaller blocks with a smaller budget. We evaluate two hybrid LLMs, Qwen3.5-4B and 35B-A3B, on one NVIDIA H200. Including the cost of building and using the index, whole-model wall-clock speedups over dense attention are 2.3-2.4x for prefill and 1.7-2.0x for decoding at 512K tokens, and 2.9-3.0x for prefill at 1M. The 35B-A3B model stays close to dense attention on five RULER tasks through 1M, on LongBench-v2 overall, and on MRCR through 256K. The 4B model loses accuracy mainly on multi-key retrieval, yet outperforms dense Qwen3.5-2B, whose latency is similar at 512K, on all three benchmarks.
• Abstract（参考訳）: 本稿では,プリフィルとデコードの両方を高速化するために,プロンプト固有のキーインデックスを構築する訓練不要なスパースアテンション手法を提案する。 このメソッドはキーを大きなセマンティックブロックに集約し、非連続的な位置からトークンをグループ化する。 各クエリ位置は、セントロイドをスコアリングしてブロックを選択し、その中の元のキーと値に付随する。 同じブロックを選択するクエリは一緒に処理されるので、各クエリが独自のブロックを選択する場合でも、プリフィルは高速に実行される。 大きなブロックはセントロイドスコアとグループ化された処理を安くするので、各クエリは同時により多くのトークンに対応できる。 これにより、トークン予算の大きい大きなブロックは、より小さなブロックよりも、より速く、より正確になる。 NVIDIA H200上での2つのハイブリッドLCM, Qwen3.5-4Bと35B-A3Bを評価した。 このインデックスの構築と使用のコストを含むと、高密度の注意による全モデルウォールタイムのスピードアップはプリフィルが2.3-2.4x、512Kトークンでデコードが1.7-2.0x、1Mでプリフィルが2.9-3.0xである。 35B-A3Bモデルは、RULERの5つのタスクを1M、LongBench-v2全体、MRCRを256Kまで、細心の注意を払っている。 4Bモデルは、主にマルチキー検索で精度が低下するが、3つのベンチマークでレイテンシが512Kに類似した密度のQwen3.5-2Bより優れている。

関連論文リスト

• CISA: Retrofitting Dense Attention Models with Chunk-Indexed Sparse Attention [12.099024313193047]
  Chunk-Indexed Sparse Attention (CISA) は、勾配更新なしで事前訓練された集中注意モデルに適合する。 CISAは、既存のキーのコンパクトなサマリーを使用して、固定サイズのKVチャンクを選択する。 NVIDIA Nemotron 3 Nano and Ultra および Inkling-Small を用いた CISA の評価を行った。
  論文  参考訳（メタデータ） (2026-11-02T14:25:48Z)
• TileWeave: Heterogeneous Tiling for Sparse Prefill on Mobile SoCs [46.179744685210515]
  HeteroSparseパーティションは、クロスクエリの再利用によって軽視される。 Snapdragon SM8750とSM8850では、1.35--3.23$times$XAttentionよりも高速なフルモデルプリフィルを実現している。
  論文  参考訳（メタデータ） (2026-10-30T21:56:01Z)
• PQ-HSA: Reusing Product-Quantized Scores for Hybrid Sparse-Approximate Attention [31.05085292228752]
  PQ-HSAは選択したトークンに元のキーと値で出席する。 Llama-3.1-8BやQwen3-30B-A3BのQuestやSnapKVよりも正確である。
  論文  参考訳（メタデータ） (2026-09-27T16:47:14Z)
• RBS-Attention: Radius-Bounded Sparse Prefill for Long-Context Large Language Models [0.3920678789793038]
  RBS-Attention (RBS-Attention) は2つの相補選択枝を持つ訓練不要スパース補充法である。 セントロイドベースブランチは平均的な関連性を捉え、救助ブランチは最大鍵ブロック半径とそのプロンプト、層、頭に依存した分布を用いて、過小評価のリスクがあるブロックを識別する。
  論文  参考訳（メタデータ） (2026-09-17T18:28:29Z)
• RoPE-Aware Bit Allocation for KV-Cache Quantization [52.099459337231345]
  Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。 これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。 128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
  論文  参考訳（メタデータ） (2026-06-23T00:17:48Z)
• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models [49.93891888238178]
  ブロックワイド拡散言語モデル(DLM)は任意の順序で複数のトークンを生成し、自動回帰復号パイプラインに代わる有望な代替手段を提供する。 異なるクエリが異なるプレフィックス位置を選択する場合、KVインフレーション問題により、DLM上では裸のスパースアテンションが失敗する。 キャッシュされたプレフィックスアテンション結果を安定したトークンに再利用し、アクティブトークンのみにスパースアテンションを適用するLOSA(Locality-aware Sparse Attention)を提案する。
  論文  参考訳（メタデータ） (2026-04-13T20:53:51Z)
• Block Sparse Flash Attention [29.499030734003952]
  Block-Sparse FlashAttentionはFlashAttentionの代替になる。 クエリキーの正確な類似性を計算し、クエリ毎に最上位の最も重要な値ブロックを選択する。 実世界の推論ベンチマークで最大1.10倍のスピードアップを実現し、最大1.24倍のニードル・イン・ア・ヘイスタック検索タスクを実現している。
  論文  参考訳（メタデータ） (2025-12-07T21:20:12Z)
• HashAttention: Semantic Sparsity for Faster Inference [95.31739930718116]
  本稿では,HashAttention,framing pivotal token Identificationを推薦問題として紹介する。 トークン1個あたり32ビットの補助メモリしか必要とせず、最小品質の損失を最小限に抑えられるため、最大16タイムで使用されるトークンを削減できる。 A100 GPUでは、HashAttentionを組み込むことで、GPT-FASTで4.3times$、FlashDecodeで2.54times$、GPT-FASTで最大3.12times$高スループットを実現している。
  論文  参考訳（メタデータ） (2024-12-19T02:34:15Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
  本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。 推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。 また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。