論文の概要: Where Should a KV-Cache Repair Budget Go? Distractor Structure and Contextual Compatibility in Non-Prefix Reuse

• arxiv url: http://arxiv.org/abs/2611.06397v1
• Date: Wed, 04 Nov 2026 12:02:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.101543
• Title: Where Should a KV-Cache Repair Budget Go? Distractor Structure and Contextual Compatibility in Non-Prefix Reuse
• Title（参考訳）: KVキャッシュ修復予算はどこへ進むべきか? -非修正再利用におけるトラクタ構造とコンテキスト適合性-
• Abstract要約: 非KVキャッシュの再利用は、検索したチャンクを独立してエンコードし、キャッシュを選択する。 3つの7B-8Bモデルと4つのダイアログメモリ、オープンドメインQA、APIドキュメンテーションのデータセットにまたがる。
• 参考スコア（独自算出の注目度）: 8.428362872515416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-prefix KV-cache reuse encodes retrieved chunks independently and concatenates their caches. To find where a small repair budget should be spent, we vary the chunks around the answer-bearing one (the target) across three 7B-8B models and four datasets of dialogue memory, open-domain QA and API documentation. Reuse loses 19-100% of the context-dependent questions that full prefill answers, and it loses more when the other chunks are of the same kind as the target. Because the recoverable damage is spread over these other chunks, restoring a few of them recovers little, and the budget is better spent on the target. This works through contextual compatibility: recomputing the target against the reused cache beats inserting its full-prefill KV in all seven settings tested, although the recomputed KV stays far from the full-prefill KV. Question attention over reused caches, however, selects the target in at most 18.8% of development questions. A retriever finds it more often, and recomputing its top chunk after moving it next to the question significantly beats InfoFlow-style reordering at the same 5% budget in six of nine open-domain QA and API-documentation settings. On dialogue memory, though, recomputing chunks never significantly beats the token-level selector chosen for each setting.
• Abstract（参考訳）: 非プリフィックスKV-cacheは、検索したチャンクを独立してエンコードし、キャッシュを結合する。 小額の修理予算をどこで使うべきかを知るため、3つの7B-8Bモデルと4つのダイアログメモリ、オープンドメインQA、APIドキュメンテーションに回答可能な1つ(ターゲット)のチャンクを変更します。 Reuseは、全回答をプリフィルするコンテキスト依存の質問の19～100%を失い、他のチャンクがターゲットと同じ種類の場合に、より多くの質問が失われる。 回復可能な損傷は他の破片に分散しているため、一部の回復はほとんど行われず、予算は目標に費やされている。 ターゲットを再利用されたキャッシュビートに対して再計算することで、テスト対象の7つの設定すべてでフルプリフィルKVを挿入するが、再計算されたKVはフルプリフィルKVから遠く離れている。 しかし、再利用キャッシュに対する質問の注意は、少なくとも18.8%の開発質問においてターゲットを選択する。 レトリバーはそれをより頻繁に見つけ、質問の横に移動した後、トップチャンクを再計算すると、9つのオープンドメインのQAとAPIドキュメント設定のうち6つの同じ5%の予算でInfoFlowスタイルのリオーダーをはるかに上回っている。 しかし、ダイアログメモリでは、チャンクの再計算は各設定で選択されたトークンレベルのセレクタを著しく上回ることはない。

関連論文リスト

• Read What Matters: Query-Adaptive Quantization for KV Caches [6.942025710859187]
  KV-cacheエントリは、将来のクエリが知られる前に格納されるが、それぞれのデコードクエリは、異なる場所で精度を必要とする。 我々はこのミスマッチを,クエリ毎に取得した保持ビットとビットに対して,個別の予算を用いて検討する。 各クエリに対して、ReadKVはクエリを使用してキーチャネルのプレフィックスを割り当て、再構成されたキーから注意を計算し、そのアテンションを使用してバリュートークンのプレフィックスを割り当てる。
  論文  参考訳（メタデータ） (2026-10-08T04:47:41Z)
• CacheRepair: Learning to Repair Cross-Chunk Context in RAG for KV Cache Fusion [4.63143469565065]
  CacheRepairは、独立に計算されたKVキャッシュと、チャンクを一緒に処理することによって生成されるKVキャッシュの違いを学習する。 修復により, チャンク境界近傍とチャンク内部全体のKV誤差が低減されることを示す。
  論文  参考訳（メタデータ） (2026-09-28T13:26:55Z)
• RelaxKV: Recomputation Guided by the Query with Sparse Context Attention for Efficient KV Cache Reuse [11.49301528421843]
  クロスリクエストKVキャッシングはレトリーバル拡張ジェネレーション(RAG)のプリフィルコストを低減させる RelaxKVは、修復目標と再計算コンテキストに対する共同割り当て問題として選択的なキャッシュ修復を定式化する。
  論文  参考訳（メタデータ） (2026-09-27T12:12:00Z)
• Budgeted Cache Repair for Cross-Context KV-Cache Reuse [38.049805308598806]
  KV-cacheの再利用は、共有セグメントのキーと値を再計算する代わりに、新しいプレフィックスの下で予測する。 KV-cacheの再利用はMMLUとGSM8Kの精度がかなり高い。 予算化されたキャッシュ修復は、選択がまだ支払っているユニットで動作します。
  論文  参考訳（メタデータ） (2026-09-27T07:57:28Z)
• RestoreKV: Recovering Full-Cache Behavior Under Aggressive Query-Agnostic KV Cache Eviction [10.668136973950453]
  KVキャッシュ消去はコンテキストを一度圧縮し、結果のキャッシュを任意の将来のクエリに再利用するが、パフォーマンスは厳しい予算の下で崩壊する可能性がある。 本稿では,この選択に基づく定式化を補完するRestoreKVを紹介する。 我々の重要な洞察は、排除によって失った情報は文脈固有であるが、そのコンパクトな補完を生成するメカニズムはコンテキスト間で共有できるということである。
  論文  参考訳（メタデータ） (2026-08-02T13:58:42Z)
• WorldKV: Efficient World Memory with World Retrieval and Compression [56.57011243315561]
  我々は、World RetrievalとWorld Compressionの2つのコンポーネントを備えた、トレーニング不要のフレームワークであるWorldKVを提案する。 Matrix-Game-2.0とLingBot-World-Fastでは、WorldKVはスループットの約2倍のフルKVメモリ忠実度に対応し、微調整なしでメモリトレーニングされたベースラインと競合する。
  論文  参考訳（メタデータ） (2026-05-21T16:55:04Z)
• MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering [75.0394545769057]
  KVキャッシュは、LLMプリフィルを介して歴史的なトークンのキーバリューを格納する。 MuKV は KV キャッシュ圧縮モジュールと半階層的検索手法を特徴とする手法である。 長時間ストリーミングのVideoQAベンチマークの実験では、MKVはメモリとオンラインQA効率を犠牲にすることなく、回答の正確性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-05-21T10:13:03Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。