論文の概要: Top-K Retrieval with Fixed-Size Linear-Attention Completion: Backbone- and KV-Format-Preserving Attention for KV-Cache Read Reduction

• arxiv url: http://arxiv.org/abs/2604.05438v1
• Date: Tue, 07 Apr 2026 05:19:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.637311
• Title: Top-K Retrieval with Fixed-Size Linear-Attention Completion: Backbone- and KV-Format-Preserving Attention for KV-Cache Read Reduction
• Title（参考訳）: 固定サイズリニアアテンションコンプリート付きトップK検索:KVキャッシュリードリダクションのためのバックボーンとKV-Format-Preservingアテンション
• Authors: Yasuto Hoshi, Daisuke Miyashita, Jun Deguchi,
• Abstract要約: 本稿では,背骨重みとKV-cacheフォーマットが変化しない検索-補完アテンションモジュールを提案する。 各クエリに対して、シンク/テールアンカーとクエリ依存のTop-Kトークンについて、正確な注意を計算します。 我々は、非正規化領域における正確な、推定された貢献を加え、単一の正規化を適用し、追加の注意面KV読取を伴わずに、欠落したソフトマックス質量を回復する。
• 参考スコア（独自算出の注目度）: 3.1897721055763024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-context generation is increasingly limited by decode-time key-value (KV) cache traffic, particularly when KV is offloaded beyond GPU memory. Query-aware retrieval (e.g., Top-K selection) reduces this traffic by loading only a subset of KV pairs, but renormalizing the softmax over the subset introduces bias when attention mass is spread over unretrieved tokens. We propose a retrieval-completion attention module that keeps backbone weights and the KV-cache format unchanged. For each query, we compute exact attention over sink/tail anchors and the query-dependent retrieved Top-K tokens, and estimate the remaining mid-region numerator and denominator using a fixed-size feature-map summary computed at prefill time. We add the exact and estimated contributions in the unnormalized domain and apply a single normalization, recovering the missing softmax mass without additional attention-side KV reads. Across long-context benchmarks, the proposed method improves over selection-only Top-K at matched token-equivalent read budgets, with the largest gains in high-entropy heads.
• Abstract（参考訳）: 長いコンテキスト生成は、特にKVがGPUメモリを超えてオフロードされる場合、デコード時キー値(KV)キャッシュトラフィックによって、ますます制限される。 クエリ対応検索(Top-K選択など)は、KVペアのサブセットだけをロードすることで、このトラフィックを減らすが、サブセット上でのソフトマックスの再正規化は、未検索トークンに注目質量が広がるときにバイアスをもたらす。 本稿では,背骨重みとKV-cacheフォーマットが変化しない検索-補完アテンションモジュールを提案する。 各クエリに対して、シンク/テールアンカーとクエリ依存のTop-Kトークンの正確な注意を計算し、プリフィル時間で計算された固定サイズの特徴マップサマリを用いて、残りの中領域数値と分母を推定する。 我々は、非正規化領域における正確な、推定された貢献を加え、単一の正規化を適用し、追加の注意面KV読取を伴わずに、欠落したソフトマックス質量を回復する。 長文ベンチマーク全体では、提案手法は、一致したトークン等価な読み出し予算において、選択のみのTop-Kよりも改善され、高エントロピーヘッドでは最大の利得となる。

関連論文リスト

• SpecAttn: Co-Designing Sparse Attention with Self-Speculative Decoding [3.47505166101801]
  SpecAttnは、検証誘導スパースアテンションを持つ自己投機的復号法である。 バニラ自動回帰復号法よりも2.81$times$高いスループットと、最先端のパリティベースの復号法よりも1.29$times$高いスループットを実現している。
  論文  参考訳（メタデータ） (2026-02-06T22:12:52Z)
• ProphetKV: User-Query-Driven Selective Recomputation for Efficient KV Cache Reuse in Retrieval-Augmented Generation [22.835149054167122]
  本稿では,RAGシナリオに対するユーザクエリ駆動型KVキャッシュ再利用手法であるProphet KVを提案する。 Prophet KVは、ユーザクエリに対するセマンティックな関連性に基づいてトークンを優先順位付けする。 以上の結果から, Prophet KVの完全補充精度は96%-101%であり,再計算率は20%に過ぎなかった。
  論文  参考訳（メタデータ） (2026-01-31T09:53:31Z)
• Crystal-KV: Efficient KV Cache Management for Chain-of-Thought LLMs via Answer-First Principle [22.39292106468653]
  CoT(Chain-of-Thought)推論は複雑なタスクの精度を大幅に向上させる。 CoTは最終的な答えを強調し、従来のKV圧縮戦略を非効率にする。 CoT推論に適した効率的なKVキャッシュ管理フレームワークであるCrystal-KVを提案する。
  論文  参考訳（メタデータ） (2026-01-05T07:42:58Z)
• G-KV: Decoding-Time KV Cache Eviction with Global Attention [57.47409249054187]
  大規模言語モデル(LLM)は複雑なタスクに優れるが、長いシーケンス長のため、計算とメモリの重大な課題に遭遇する。 KVキャッシュ圧縮は推論の効率を大幅に向上させる効果的な手法として登場した。 本稿では,グローバルスコアリング機構を用いたKVキャッシュ消去手法であるG-KVを提案する。
  論文  参考訳（メタデータ） (2025-11-29T14:21:33Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ） (2023-10-03T05:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。