論文の概要: CompKV: Compensation-Aware KV Selection for Long-Context LLM Inference
- arxiv url: http://arxiv.org/abs/2609.26300v1
- Date: Tue, 22 Sep 2026 12:11:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.354853
- Title: CompKV: Compensation-Aware KV Selection for Long-Context LLM Inference
- Title（参考訳）: CompKV:長期LLM推論のための補償対応KV選択
- Abstract要約: 大きな言語モデル(LLM)は、長いコンテキスト推論の間、KVキャッシュメモリのトラフィックによってボトルネックとなる。
最初の補償対応スパースアテンションフレームワークであるCompKVを紹介する。
我々は、Comp KVがフルアテンションよりも最大6.85タイムのセルフアテンションスピードアップを提供することを示した。
- 参考スコア（独自算出の注目度）: 15.727678757881563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their strong performance, large language models (LLMs) are bottlenecked by KV cache memory traffic during long-context inference. Sparse attention is widely used to accelerate LLM inference by computing exact attention over a selected subset of tokens. To recover the contribution of tokens excluded from exact attention, recent methods apply coarse-grained compensation to the omitted attention tail. However, existing methods typically select tokens based on attention mass and only then compensate for the unselected tokens. This decoupled design overlooks their interaction: selection should prioritize tokens that would leave the largest compensation error if omitted. To address this limitation, we introduce CompKV, the first compensation-aware sparse attention framework that divides tokens into blocks and explicitly optimizes selection for the downstream compensation mechanism. Our theoretical analysis shows that the residual left by block-level mean compensation is governed by both block attention mass and within-block logit variation. We approximate this residual using compact block-level statistics, yielding a deployable selection criterion. We further develop an efficient asynchronous implementation. Experiments on RULER and LongBench-Pro show that CompKV performs best among the evaluated sparse baselines while delivering up to a $6.85\times$ self-attention speedup over full attention.
- Abstract（参考訳）: 高いパフォーマンスにもかかわらず、大規模な言語モデル(LLM)は、長いコンテキスト推論の間、KVキャッシュメモリのトラフィックによってボトルネックとなる。
スパース・アテンションは、選択したトークンのサブセットに対する正確なアテンションを計算することによって、LSM推論を加速するために広く使用されている。
正確な注意から除外されたトークンの寄与を回復するために、近年の手法は、省略された注意尾に粗い粒度の補償を適用している。
しかし、既存の方法は一般的に注意質量に基づいてトークンを選択し、選択されていないトークンを補う。
選択は、省略された場合に最大の補償エラーを残すトークンを優先すべきである。
この制限に対処するために,トークンをブロックに分割し,下流補償機構の選択を明示的に最適化する最初の補償対応スパースアテンションフレームワークであるCompKVを導入する。
理論的には,ブロックレベルの平均補償による残差は,ブロックアテンション質量とブロック内ロジット変動の両方によって制御されている。
我々は、この残差をコンパクトなブロックレベルの統計値を用いて近似し、展開可能な選択基準を与える。
さらに、効率的な非同期実装を開発します。
RULERとLongBench-Proの実験では、CompKVは評価されたスパースベースラインの中で最高の性能を示し、フルアテンションよりも6.85\times$セルフアテンションスピードアップを実現している。
関連論文リスト
- STAC: Selective Spatiotemporal Aggregation and Compression for Video Reasoning Segmentation [60.597357847359255]
ビデオセグメンテーションでは、複雑な自然言語クエリの下で数百フレームにわたるピクセル精度の高いオブジェクトトラッキングが要求される。
既存のメソッドはトークン圧縮を通じてこの問題に対処するが、典型的には時間的コンテキストを持たない機能で動作する。
状態空間モデルは、この制約を解決し、その線形反復性は、各トークンを時間的文脈で選択的に$mathcalO(T)$コスト圧縮して減少させる。
論文 参考訳（メタデータ） (2026-07-03T03:28:25Z) - SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。
最近の圧縮法はトークンマージによるコストを軽減している。
これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-19T17:44:56Z) - Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。
既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。
本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
論文 参考訳（メタデータ） (2026-05-19T12:01:13Z) - SepSeq: A Training-Free Framework for Long Numerical Sequence Processing in LLMs [51.84813231879529]
本稿では,セパレータトークンを戦略的に挿入することで分散を緩和する学習自由なプラグアンドプレイフレームワークを提案する。
メカニカルには、セパレータトークンが注目シンクとして機能し、グローバルなコンテキストを維持しながら、局所的なセグメントに注意を向けることが示される。
論文 参考訳（メタデータ） (2026-04-09T02:40:34Z) - SPLA: Block Sparse Plus Linear Attention for Long Context Modeling [27.679279650511848]
ブロックワイズ・スパース・アテンションは、ロングコンテキスト・モデリングにおいて大きな効率性をもたらす。
既存の手法は、選択されていないブロックを完全に破棄することで、選択の不確かさと累積的な文脈損失に悩まされることが多い。
本稿では,Sparse Plus Linear Attention (SPLA) について紹介する。これは2階Taylor展開から導かれる選択指標を利用して,正確な注意を払って関連するブロックを正確に識別するフレームワークである。
論文 参考訳（メタデータ） (2026-01-29T22:41:45Z) - VLM-Pruner: Buffering for Spatial Sparsity in an Efficient VLM Centrifugal Token Pruning Paradigm [18.604455802016233]
視覚言語モデル(VLM)は画像理解タスクに優れるが、多数の視覚トークンは計算コストを大幅に上回る。
VLM-Prunerは、冗長性と空間空間幅のバランスをとる訓練不要なトークンプルーニングアルゴリズムである。
VLM-Prunerは5つのVLMにおいて88.9%のプルーニングレートで強いベースラインを一貫して上回り、エンドツーエンドの推論スピードアップを実現している。
論文 参考訳（メタデータ） (2025-12-02T12:30:05Z) - Efficient Low Rank Attention for Long-Context Inference in Large Language Models [41.24530756499533]
低ランククエリとキーアテンション(LRQK)は、プリフィル段階で、完全精度クエリとキー行列をコンパクトなランク-(r)要素に分解するフレームワークである。
トップ(k)トークンと、最近のトークンの小さな固定セットだけを選択することで、LRQKは、完全に精度の低いKVペアだけを転送するヒットアンドミス機構を備えた混合GPU-CPUキャッシュを使用する。
論文 参考訳（メタデータ） (2025-10-25T11:43:27Z) - Sparser Block-Sparse Attention via Token Permutation [46.22204775916057]
本稿では,ブロックレベルの空間性を高めるために,注目の置換特性を活用するプラグイン・アンド・プレイ方式であるPermuted Block-Sparse Attention (textbfPBS-Attn)を提案する。
PBS-Attnは、カスタムのpermuted-FlashAttentionカーネルをベースとして、長文プリフィルで最大2.75タイムのエンドツーエンドのスピードアップを実現しています。
論文 参考訳（メタデータ） (2025-10-24T09:11:50Z) - Multipole Attention for Efficient Long Context Reasoning [64.94673641704289]
大規模推論モデル (LRM) は複雑な問題解決タスクにおいて有望な精度の向上を示す。
LRMは、答える前に考えるために、長い連鎖推論を生成する必要がある。
本稿では,重要なトークンに対してのみ正確に注意を払うことで,自己回帰推論を高速化するマルチポール注意法を提案する。
論文 参考訳（メタデータ） (2025-06-16T03:00:40Z) - Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。
HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。
トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
論文 参考訳（メタデータ） (2024-04-16T06:34:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。