論文の概要: CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection

• arxiv url: http://arxiv.org/abs/2605.16839v1
• Date: Sat, 16 May 2026 06:47:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.195209
• Title: CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection
• Title（参考訳）: CompactAttention: Block-Union KV選択によるチャンクプレフィルの高速化
• Authors: Jiwon Song, Dongwon Jo, Beomseok Kang, Jae-Joon Kim,
• Abstract要約: 既存のスパースアテンションメソッドは、チャンクされたプリフィルに効率的に変換しない。 ブロック・ユニオンKV選択に基づくチャンクド・プレフィルアテンション機構であるCompactAttentionを提案する。 最大2.72$times$ attention speedup at 128K context length under chunked prefill。
• 参考スコア（独自算出の注目度）: 13.937483869660648
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chunked prefill has become a widely adopted serving strategy for long-context large language models, but efficient attention computation in this regime remains challenging. Existing sparse attention methods are primarily designed for one-shot prefill and do not translate efficiently to chunked prefill: block-sparse kernels lose efficiency when the query length is limited by the chunk size, while fine-grained pattern search becomes costly when repeated over the accumulated KV cache at every chunk. QUOKA, a recent method that directly targets chunked prefill, avoids sparse-kernel overhead but relies on query-subsampled, token-level KV selection, which can miss query-specific KV entries and introduce explicit KV-copy overhead. To address these limitations, we propose CompactAttention, a chunked-prefill attention mechanism based on Block-Union KV Selection. CompactAttention treats 2D block-sparse masks as KV-selection signals rather than direct sparse-kernel execution plans, and converts them into GQA-aware per-group KV block tables through Q-block union and intra-group union. This construction produces the minimal block tables that preserve all KV blocks selected by the input masks under paged execution constraints, enabling selected KV blocks to be accessed in place without explicit KV compaction. On LLaMA-3.1-8B-Instruct, CompactAttention maintains accuracy close to dense attention on the RULER benchmark while delivering up to 2.72$\times$ attention speedup at 128K context length under chunked prefill.
• Abstract（参考訳）: チャンクプレフィルは、長文大言語モデルのサービス戦略として広く採用されているが、この体制における効率的な注意計算はいまだに困難である。 既存のスパースアテンション法は主にワンショットプリフィル用に設計されており、チャンクプリフィルに効率よく変換されない: ブロックスパースカーネルは、チャンクサイズによってクエリ長が制限されたときに効率を損なうが、チャンク毎に蓄積されたKVキャッシュを繰り返すと、きめ細かいパターン探索はコストがかかる。 チャンクプリフィルを直接ターゲットとする最近の方法であるQUokaは、スパースカーネルオーバーヘッドを回避しているが、クエリサブサンプルのトークンレベルのKV選択に依存しており、クエリ固有のKVエントリを見逃し、明示的なKVコピーオーバーヘッドを導入することができる。 これらの制約に対処するため,ブロック・ユニオンKV選択に基づくチャンク付き補充型アテンション機構であるCompactAttentionを提案する。 CompactAttentionは、直接スパースカーネル実行計画ではなく、2DブロックスパースマスクをKV選択信号として扱い、Qブロックユニオンとグループ内ユニオンを介してグループごとのKVブロックテーブルに変換する。 この構成は、ページ化された実行制約の下で入力マスクによって選択されたすべてのKVブロックを保存する最小のブロックテーブルを生成し、明示的にKV圧縮することなく、選択されたKVブロックにアクセスできるようにする。 LLaMA-3.1-8B-インストラクタでは、CompactAttentionはRULERベンチマークの注目度に近い精度を維持しつつ、128Kのコンテキスト長で最大2.72$\times$ attention speedupを提供する。

関連論文リスト

• Unifying Sparse Attention with Hierarchical Memory for Scalable Long-Context LLM Serving [18.681651346752766]
  動的スパースアテンションは、デコーディングステップ毎にKV状態の小さなクエリ依存サブセットだけにアクセスすることで緩和を約束する。 しかし実際には、これらのアルゴリズムによる貯蓄は、エンドツーエンドのシステムレベルのゲインにはほとんど変換されない。 本稿では,階層的なKVストレージで実行パイプラインを協調設計するスパースアテンション対応推論フレームワークSPINを提案する。
  論文  参考訳（メタデータ） (2026-04-29T16:02:00Z)
• Fast KV Compaction via Attention Matching [36.70038515897491]
  この研究は、注意マッチングによる潜在空間における高速な文脈コンパクト化のアプローチを記述する。 この定式化は自然に単純な部分プロブレムに分解され、その一部は効率的な閉形式解を持つ。
  論文  参考訳（メタデータ） (2026-02-18T09:06:53Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• SpecAttn: Co-Designing Sparse Attention with Self-Speculative Decoding [3.47505166101801]
  SpecAttnは、検証誘導スパースアテンションを持つ自己投機的復号法である。 バニラ自動回帰復号法よりも2.81$times$高いスループットと、最先端のパリティベースの復号法よりも1.29$times$高いスループットを実現している。
  論文  参考訳（メタデータ） (2026-02-06T22:12:52Z)
• G-KV: Decoding-Time KV Cache Eviction with Global Attention [57.47409249054187]
  大規模言語モデル(LLM)は複雑なタスクに優れるが、長いシーケンス長のため、計算とメモリの重大な課題に遭遇する。 KVキャッシュ圧縮は推論の効率を大幅に向上させる効果的な手法として登場した。 本稿では,グローバルスコアリング機構を用いたKVキャッシュ消去手法であるG-KVを提案する。
  論文  参考訳（メタデータ） (2025-11-29T14:21:33Z)
• Cache Me If You Can: How Many KVs Do You Need for Effective Long-Context LMs? [79.58770714228983]
  言語モデルは、書籍要約のようなタスクに対して、ますます長いコンテキストを扱う。 これによりキーバリュー(KV)キャッシュのメモリコストが増大する。 以前の多くの研究でKVをメモリから外す方法が提案されているが、そのアプローチは好ましい設定に適合している。 KVフットプリント*は、記憶中のKVエントリの量と寿命の両方を考慮し、統一された計量として提案する。
  論文  参考訳（メタデータ） (2025-06-20T16:21:12Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression [10.003118268356017]
  ロングコンテキストは推論効率に重大な課題をもたらす。 本稿では,意味クラスタの粒度でトークンをリコールするClusterKVを紹介する。 実験結果から、ClusterKVは32kのコンテキスト長を持つ様々なタスクにおいて、無視可能な精度の損失が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-04T10:58:27Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
  ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。 提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。 Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。