論文の概要: RelaxKV: Recomputation Guided by the Query with Sparse Context Attention for Efficient KV Cache Reuse

• arxiv url: http://arxiv.org/abs/2609.33503v1
• Date: Sun, 27 Sep 2026 12:12:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 16:13:36.822183
• Title: RelaxKV: Recomputation Guided by the Query with Sparse Context Attention for Efficient KV Cache Reuse
• Title（参考訳）: RelaxKV: 効率的なKVキャッシュ再利用のためのスパースコンテキストアテンションを備えたクエリでガイドされた再計算
• Abstract要約: クロスリクエストKVキャッシングはレトリーバル拡張ジェネレーション(RAG)のプリフィルコストを低減させる RelaxKVは、修復目標と再計算コンテキストに対する共同割り当て問題として選択的なキャッシュ修復を定式化する。
• 参考スコア（独自算出の注目度）: 11.49301528421843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-request KV caching reduces the prefill cost of Retrieval-Augmented Generation (RAG), but conventional prefix caching severely limits cache reuse across requests. Position-Independent Caching (PIC) removes this constraint by reusing independent chunks, but their KV states miss cross-chunk interactions. Existing methods selectively recompute token states to recover these missing interactions, but primarily allocate the recomputation budget to selecting which states to recompute, while fixing the recomputation context to the full causal prefix. We introduce RelaxKV, which formulates selective cache repair as a joint allocation problem over repair targets and recomputation context. Guided by the user query, RelaxKV identifies layer-specific repair targets and restricts their recomputation to a query-relevant context, reducing attention computation. Across four decoder models, RelaxKV at a 15% anchor ratio improves aggregate LongBench performance over ProphetKV on all models. On Qwen3-14B, RelaxKV provides a stronger quality-TTFT trade-off than ProphetKV across a 5%-30% anchor-ratio sweep, and achieves the best selective results on RULER-MV and LV-Eval at 16K and 32K context lengths. Controlled ablations further demonstrate the importance of recomputation context selection.
• Abstract（参考訳）: クロスリクエストKVキャッシュは、Retrieval-Augmented Generation (RAG)のプリフィルコストを削減するが、従来のプレフィックスキャッシュはリクエスト間のキャッシュ再利用を著しく制限する。 位置独立キャッシング(PIC)は、独立チャンクを再利用することでこの制約を取り除くが、KV状態はクロスチャンク相互作用を見逃す。 既存の方法では、トークン状態を選択的に再計算し、これらの欠落した相互作用を回復するが、主に再計算予算を割り当て、どの状態を選択するかを選択し、再計算コンテキストを完全な因果接頭辞に固定する。 本稿では,修復目標と再計算コンテキストに対する共同割り当て問題として,選択的キャッシュ修復を定式化するRelaxKVを紹介する。 ユーザクエリによってガイドされたRelaxKVは、レイヤ固有の修復ターゲットを特定し、クエリ関連コンテキストへの再計算を制限することにより、注意計算の削減を実現している。 4つのデコーダモデル全体で、RelaxKVは15%アンカー比で、全てのモデルでProphetKVよりも総合的なLongBench性能を向上させる。 Qwen3-14Bでは、RelaxKVはProphetKVよりも5%-30%のアンカー比で高い品質のTTFTトレードオフを提供し、RULER-MVとLV-Evalの16Kおよび32Kコンテキスト長での最良の選択結果を得る。 制御された短縮は、再計算コンテキストの選択の重要性をさらに示している。

関連論文リスト

• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• Kwai Summary Attention Technical Report [69.40814939510126]
  長文の能力は、次世代の大規模言語モデルの最も重要な方向性の1つになっている。 標準ソフトマックスアテンションは、シーケンスの長さに関して2次時間複雑性を示す。 歴史的文脈を圧縮することでシーケンスモデリングコストを削減する新しいアテンションメカニズムであるKwai Summary Attention (KSA)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T12:59:53Z)
• Top-K Retrieval with Fixed-Size Linear-Attention Completion: Backbone- and KV-Format-Preserving Attention for KV-Cache Read Reduction [3.1897721055763024]
  本稿では,背骨重みとKV-cacheフォーマットが変化しない検索-補完アテンションモジュールを提案する。 各クエリに対して、シンク/テールアンカーとクエリ依存のTop-Kトークンについて、正確な注意を計算します。 我々は、非正規化領域における正確な、推定された貢献を加え、単一の正規化を適用し、追加の注意面KV読取を伴わずに、欠落したソフトマックス質量を回復する。
  論文  参考訳（メタデータ） (2026-04-07T05:19:54Z)
• ProphetKV: User-Query-Driven Selective Recomputation for Efficient KV Cache Reuse in Retrieval-Augmented Generation [22.835149054167122]
  本稿では,RAGシナリオに対するユーザクエリ駆動型KVキャッシュ再利用手法であるProphet KVを提案する。 Prophet KVは、ユーザクエリに対するセマンティックな関連性に基づいてトークンを優先順位付けする。 以上の結果から, Prophet KVの完全補充精度は96%-101%であり,再計算率は20%に過ぎなかった。
  論文  参考訳（メタデータ） (2026-01-31T09:53:31Z)
• Sparse Attention across Multiple-context KV Cache [8.236266965773465]
  推論効率を改善するために、履歴キーバリュー(KV)キャッシュを再利用することは、主流のアプローチとなっている。 近年の進歩は、KVキャッシュを選択できるスパースアテンション機構によってスループットをさらに向上させる。 本論文では,マルチコンテキストKVキャッシュにおける注意スペーシフィケーションの最初の調査であるSamKVについて述べる。
  論文  参考訳（メタデータ） (2025-08-06T02:53:14Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• FlowKV: Enhancing Multi-Turn Conversational Coherence in LLMs via Isolated Key-Value Cache Management [48.904743679691414]
  FlowKVはKVキャッシュ管理のための新しいマルチターン分離機構である。 蓄積された圧縮KVキャッシュを過去のターンから保存する。 古い文脈の再圧縮を防ぎ、破滅的な忘れを和らげる。
  論文  参考訳（メタデータ） (2025-05-21T10:20:46Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。