論文の概要: Recall Before You Rank: Similarity-Guided Top-$K$ Reuse for Efficient Long-Context Attention
- arxiv url: http://arxiv.org/abs/2607.27692v1
- Date: Thu, 30 Jul 2026 05:25:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.402352
- Title: Recall Before You Rank: Similarity-Guided Top-$K$ Reuse for Efficient Long-Context Attention
- Title（参考訳）: ランク付け前のリコール: 類似性ガイド付きトップ$K$Reuse for Efficient Long-Context Attention
- Abstract要約: ReTopKは、歴史的検索決定を再利用することで、動的Top-$Kの注意を加速するトレーニングフリーの手法である。
128Kが$K=512$で、ReTopKはExact Top-K$よりも0.50%のパープレキシティアップしか得られず、注意計算は$3.07times$で加速する。
- 参考スコア（独自算出の注目度）: 4.6833133124119275
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Top-$K$ sparse attention reduces the cost of Softmax and value aggregation by attending to only a small subset of key--value (KV) entries. However, identifying this subset still requires scoring the current query against the full KV cache and performing global Top-$K$ selection, leaving selector cost linear in context length and limiting the practical efficiency of sparse attention for long-context decoding. In this paper, we introduce ReTopK, a training-free method that accelerates dynamic Top-$K$ attention by reusing historical retrieval decisions. ReTopK builds on the observation that similar queries often attend to overlapping supports and that partially overlapping supports can still preserve most of the Exact Top-$K$ attention mass. For each attention head, it maintains a bounded cache of historical query--support pairs, retrieves the most similar cached queries for each new query, unions their stored supports with a recent window, and reranks only the resulting compact candidate set using exact current-query scores. A similarity-based fallback invokes full-history Exact Top-$K$ when reuse is unreliable, while periodic exact refreshes limit cache drift. ReTopK retains the complete KV cache and reuses only selected indices, rather than historical scores, attention weights, or outputs. Across 16K--128K contexts, ReTopK achieves the lowest PG19 perplexity and the highest NIAH and LongBench scores among the evaluated approximate methods. At 128K with $K=512$, ReTopK incurs only a 0.50\% perplexity increase over Exact Top-$K$ while accelerating attention computation by $3.07\times$.
- Abstract（参考訳）: Top-$K$スパースアテンションは、キー値(KV)エントリの小さなサブセットにのみ参加することで、Softmaxと値アグリゲーションのコストを削減します。
しかし、このサブセットを特定するには、現在のクエリを全KVキャッシュに対してスコア付けし、グローバルなTop-$K$選択を実行する必要がある。
本稿では、歴史的検索決定を再利用することで、動的Top-$Kの注意を加速するトレーニングフリー手法であるReTopKを紹介する。
ReTopKは、類似クエリがオーバーラップするサポートに頻繁に参加し、部分的にオーバーラップするサポートは、Exact Top-$K$の注目質量の大部分を保存できるという観察に基づいて構築されている。
各アテンションヘッドは、履歴クエリをサポートするペアのバウンダリキャッシュを保持し、新しいクエリ毎に最もよく似たキャッシュクエリを検索し、保存されたサポートを最新のウィンドウで結合し、その結果のコンパクトな候補セットのみを、正確なカレントクエリスコアを使用してリランクする。
類似性ベースのフォールバックは、再利用が信頼できない場合、フルヒストリーのExact Top-$K$を呼び出し、定期的な正確なリフレッシュはキャッシュのドリフトを制限する。
ReTopKは完全なKVキャッシュを保持し、過去のスコアや注意重み、出力ではなく、選択したインデックスのみを再利用する。
16K--128Kのコンテキスト全体では、ReTopKはPG19の難易度が最も低く、評価された近似手法の中ではNIAHとLongBenchのスコアが最も高い。
128Kで$K=512$で、ReTopKはExact Top-K$よりも0.50\%のパープレキシティアップしか得られず、注意計算を$3.07\times$で加速する。
関連論文リスト
- CEDAR: Error-Bounded Residual Routing for Efficient Long-Context Attention [19.273437346867595]
ポストホックスパースアテンションは、各クエリを小さなトークンレベルのインタラクションセットにルーティングすることで、ロングコンテクストのプリフィルを加速する。
我々はCEDAR(Coarse-to-fine Error-aware Dynamic Attention)を紹介する。
CEDARは、グローバルなカバレッジを維持しながら、言語モデルを凍結し続ける粗大なメソッドである。
論文 参考訳（メタデータ） (2026-09-07T08:56:47Z) - CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。
Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
論文 参考訳（メタデータ） (2026-08-31T06:02:37Z) - Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。
より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。
我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文 参考訳（メタデータ） (2026-07-30T02:42:51Z) - Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。
提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。
これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
論文 参考訳（メタデータ） (2026-05-10T16:47:50Z) - ProphetKV: User-Query-Driven Selective Recomputation for Efficient KV Cache Reuse in Retrieval-Augmented Generation [22.835149054167122]
本稿では,RAGシナリオに対するユーザクエリ駆動型KVキャッシュ再利用手法であるProphet KVを提案する。
Prophet KVは、ユーザクエリに対するセマンティックな関連性に基づいてトークンを優先順位付けする。
以上の結果から, Prophet KVの完全補充精度は96%-101%であり,再計算率は20%に過ぎなかった。
論文 参考訳（メタデータ） (2026-01-31T09:53:31Z) - LLM Cache Bandit Revisited: Addressing Query Heterogeneity for Cost-Effective LLM Inference [87.57291812372848]
我々は、最適なキャッシュ選択をknapsack問題として扱い、計算オーバーヘッドとキャッシュ更新のバランスをとるために蓄積ベースの戦略を用いる。
我々のアルゴリズムの後悔は$O(sqrtMNT)$boundを達成し、バークレーの$O(MNsqrtT)$と比較して$sqrtMN$の係数を改善することを証明している。
問題に依存したバウンダリも提供しています。
論文 参考訳（メタデータ） (2025-09-19T01:39:08Z) - Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。
KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。
ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
論文 参考訳（メタデータ） (2025-09-13T03:34:12Z) - Lookahead Q-Cache: Achieving More Consistent KV Cache Eviction via Pseudo Query [48.52389201779425]
KVキャッシュメモリの使用は、長いテキストシーケンスで大幅に増加する。
プリフィルステージアテンションスコアを用いた既存のKVキャッシュ消去手法Pruneトークン
Lookahead Q-Cacheは、真のデコードステージクエリをよりよく近似するために、低コストの疑似ルックアヘッドクエリを生成する。
論文 参考訳（メタデータ） (2025-05-24T10:34:38Z) - Activation-aware Probe-Query: Effective Key-Value Retrieval for Long-Context LLMs Inference [56.71209737306054]
我々は,プローブ-textbfQuery を動的に決定し,関連する textbfKV ペアを推論するために利用する,トレーニングフリーの textbfActivation-aware アプローチである textbfActQKV を提案する。
Long-Bench と $infty$ Benchmarks の実験では、競合する推論品質とリソース効率を備えた最先端のパフォーマンスが実証されている。
論文 参考訳（メタデータ） (2025-02-19T08:50:44Z) - A$^2$ATS: Retrieval-Based KV Cache Reduction via Windowed Rotary Position Embedding and Query-Aware Vector Quantization [17.342214950859145]
ロングコンテキストの大規模言語モデル(LLM)は、メモリフットプリントが大きく、KVキャッシュのアクセスオーバーヘッドが大きいため、効率的なサービスを実現する上で大きな課題となる。
検索ベースのKVキャッシュ削減手法は、一般的に完全なKVキャッシュをCPUにオフロードし、推論時に必要なトークンを取得することで、これらの課題を軽減することができる。
本稿では,新しい検索方式KVキャッシュ削減手法であるA$2$ATSを提案する。
論文 参考訳（メタデータ） (2025-02-18T09:11:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。