論文の概要: Budgeted Cache Repair for Cross-Context KV-Cache Reuse

• arxiv url: http://arxiv.org/abs/2610.02233v1
• Date: Sun, 27 Sep 2026 07:57:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.008038
• Title: Budgeted Cache Repair for Cross-Context KV-Cache Reuse
• Title（参考訳）: クロスコンテキストKVキャッシュ再利用のための予算キャッシュ修復
• Abstract要約: KV-cacheの再利用は、共有セグメントのキーと値を再計算する代わりに、新しいプレフィックスの下で予測する。 KV-cacheの再利用はMMLUとGSM8Kの精度がかなり高い。 予算化されたキャッシュ修復は、選択がまだ支払っているユニットで動作します。
• 参考スコア（独自算出の注目度）: 38.049805308598806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-context KV-cache reuse predicts a shared segment's keys and values under a new prefix instead of recomputing them, and has been reported to do so without quality loss. We find otherwise, and identify two problems. (1) A hidden cost: on MMLU and GSM8K, reuse costs substantial accuracy. (2) A decision at the wrong unit: no rule for deciding whether to reuse a cache removes that cost. What does help is choosing which parts of the cache to recompute, and the value of choosing well falls as the unit of choice grows: informed selection removes 49.5% of the cache error beyond chance at single rows (one token's keys and values), 10.6% at 64-token chunks, and nothing at the level of whole calls. Budgeted Cache Repair (BCR) acts at the unit where selection still pays. It drafts two tokens from the assembled cache, ranks cache rows by the attention those tokens pay them, and recomputes a fixed budget of rows exactly, in one of three layouts. The cost is paid rather than predicted away, and the draft that fails as a gate succeeds as a selector. BCR restores GSM8K to dense-prefill accuracy while still serving most calls from cache, and its best layout outperforms every reuse baseline's mean in the reference grid. The draft also beats a coin-flip selector at the same budget - a control prior evaluations lack.
• Abstract（参考訳）: クロスコンテキストKV-cacheの再利用は、共有セグメントのキーと値を新しいプレフィックスで再計算する代わりに予測する。 私たちはそうでなければ2つの問題を見つけます。 1)隠れコスト:MMLUとGSM8Kでは、再利用には相当な精度がかかる。 (2) 間違ったユニットでの判断:キャッシュを再利用するかどうかを決めるルールは、そのコストを排除しません。 入力された選択は、単一の行(トークンのキーと値)のチャンスを超えたキャッシュエラーの49.5%を除去し、64トークンチャンクでは10.6%、呼び出し全体のレベルでは何も取り除かない。 Budgeted Cache repair (BCR) は、選択がまだ支払っているユニットで機能する。 集約されたキャッシュから2つのトークンをドラフトし、それらのトークンが支払う注意によってキャッシュ行をランク付けし、3つのレイアウトのうちの1つで行の固定予算を正確に再計算する。 コストは予測されるのではなく支払われ、ゲートとして失敗するドラフトがセレクタとして成功する。 BCRはGSM8Kを高密度のプリフィル精度に復元し、キャッシュからの呼び出しの大半を処理し、最も良いレイアウトは参照グリッドにおけるすべての再利用ベースラインの平均よりも優れている。 ドラフトは、同じ予算でコインフリップセレクタを破ります。

関連論文リスト

• KV-Kaizen: Learning Context-Adaptive Cache Compression Choices [29.96349791357183]
  トークンを排除せずにキャッシュ圧縮に繋がる選択肢に注目する。 我々は、コンテキストに基づいて、階層ごとのキャッシュ構成を全体的な圧縮予算に向けて生成できるセレクタを学習する。 KV-Kaizenは、排除を改善し、それを構成でき、14Bモデルで32倍のデコードタイムキャッシュに達する。
  論文  参考訳（メタデータ） (2026-09-29T16:49:46Z)
• CacheRepair: Learning to Repair Cross-Chunk Context in RAG for KV Cache Fusion [4.63143469565065]
  CacheRepairは、独立に計算されたKVキャッシュと、チャンクを一緒に処理することによって生成されるKVキャッシュの違いを学習する。 修復により, チャンク境界近傍とチャンク内部全体のKV誤差が低減されることを示す。
  論文  参考訳（メタデータ） (2026-09-28T13:26:55Z)
• KVShareArena: KV-Cache Reuse Across Contexts and Model Checkpoints [14.86076891340077]
  KVShare-cacheは、取得したチャンクとエージェントレポートのプロンプトコンテキストとモデルチェックポイントをまたいだ再利用を行う。 再計算を必要としない修正位置は、質問が一度に複数の情報源を必要とするまで十分である。 KVArena-cacheはキャッシュなしと完全再計算の間のギャップを割ってすべてのメソッドをスコアする。
  論文  参考訳（メタデータ） (2026-09-09T14:53:45Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Affix Cache for Diffusion Large Language Models [13.249427925543321]
  ACacheは、プレフィックスを超えたDLLMの共有テキストスパンのための、アフィクス指向のキャッシュ再利用メカニズムである。 ACacheは再計算のレイテンシを最大55.7%削減し、エンドツーエンドのスループットを最大1.68$times$に改善する。
  論文  参考訳（メタデータ） (2026-06-26T07:29:32Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。