論文の概要: Budgeted KV-Cache Repair for Evolving Contexts

• arxiv url: http://arxiv.org/abs/2610.17338v1
• Date: Mon, 12 Oct 2026 19:44:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.44754
• Title: Budgeted KV-Cache Repair for Evolving Contexts
• Title（参考訳）: コンテキスト進化のためのKVキャッシュの予算化
• Abstract要約: 維持接尾辞のユーザ・コセン分を再計算することでタスク性能を回復する。 我々は、リフレッシュなコヒーレントな領域が、リフレッシュな孤立トークンよりも大幅に優れていることを発見した。 Scientist-Unit Refresh (SUR) は、安価な埋め込みスコアを使用して、クエリ関連テキスト領域に予算を割り当てる。
• 参考スコア（独自算出の注目度）: 29.496757518672737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language-model agents revise their working context as information becomes obsolete, but deleting text does not erase its influence on cached computation. Later key-value (KV) states remain conditioned on the deleted content, while recomputing the entire retained suffix can be costly. We introduce budgeted KV-cache repair: recovering task performance by recomputing a user-chosen fraction of the retained suffix. Comparing repair allocations under identical relevance scores and token budgets, we find that refreshing coherent regions can substantially outperform refreshing isolated tokens. This finding motivates Semantic-Unit Refresh (SUR), which allocates the budget to query-relevant text regions using inexpensive embedding scores, without training or an auxiliary transformer forward. To execute these repairs efficiently, a layer-packed executor processes selected states together at each layer while preserving full causal cache access. Across five models, SUR achieves strong recovery in controlled deletion tasks while recomputing only 2-5% of the suffix. On four natural multi-hop QA datasets, it achieves near-full-recompute exact match at a 5% budget with lower post-edit latency. The executor accelerates fragmented refresh by up to 16.1x over interval-wise execution.
• Abstract（参考訳）: 言語モデルエージェントは、情報が時代遅れになるにつれて作業コンテキストを書き換えるが、テキストを削除することはキャッシュ計算への影響を消さない。 後続のキー値(KV)状態は削除されたコンテンツに対して条件付きのままであり、保持された接尾辞全体を再計算することはコストがかかる。 維持接尾辞のユーザ・コセン分を再計算することでタスク性能を回復する。 同一の関連スコアとトークンの予算の下での修復割り当てを比較すると、リフレッシュなコヒーレントな領域は、リフレッシュな孤立したトークンよりも大幅に優れることがわかった。 この発見はSemantic-Unit Refresh(SUR)を動機付けている。これは、トレーニングや補助トランスフォーマーなしで、安価な埋め込みスコアを使用してクエリ関連テキスト領域に予算を割り当てる。 これらの修復を効率よく行うために、層充填エグゼキュータは、完全な因果キャッシュアクセスを保持しつつ、選択した状態を各層で一緒に処理する。 5つのモデルにまたがって、SURは制御された削除タスクを強く回復し、サフィックスの2-5%しか再計算しない。 4つの自然なマルチホップQAデータセットにおいて、5%の予算でほぼ完全に再計算された正確な一致を達成し、後処理のレイテンシを低くする。 エグゼキュータは、インターバルワイド実行において、断片化されたリフレッシュを最大16.1倍加速する。

関連論文リスト

• CacheRepair: Learning to Repair Cross-Chunk Context in RAG for KV Cache Fusion [4.63143469565065]
  CacheRepairは、独立に計算されたKVキャッシュと、チャンクを一緒に処理することによって生成されるKVキャッシュの違いを学習する。 修復により, チャンク境界近傍とチャンク内部全体のKV誤差が低減されることを示す。
  論文  参考訳（メタデータ） (2026-09-28T13:26:55Z)
• Contiguity, Not Importance: Budgeted Repair of Stale KV Caches After Document Edits [1.9785872350085878]
  KV-cacheの再利用は、検索強化された生成およびエージェントシステムにおける推論コストを削減できる。 完全なre-prefillは一貫性を確実に復元するが、コストがかかる。 施設の補修を予算化された再計算として定式化し、トレーニング不要の位置選択ポリシーと比較する。
  論文  参考訳（メタデータ） (2026-09-16T01:13:04Z)
• TRACE: Trajectory-robust Admission with Evidence Ordering for Efficient GUI Agents [54.88208747581851]
  トレーニング不要のビジュアルトークンプルーニングは、このコストを削減することができるが、キャッシュ再利用には基本的な制約が伴う。 我々は,emphtextbfTrajectory-textbfrobust textbfAdmission と textbfCoverage-aware textbfEvidence ordering のためのトレーニング不要フレームワーク textbfmethod を提案する。
  論文  参考訳（メタデータ） (2026-09-09T15:12:48Z)
• PatchKV: Efficient KV Cache Recovery for Dynamically Edited LLM Contexts [24.13656412709201]
  PatchKVは、サフィックス保存リビジョンのためのプロファイル誘導リカバリシステムである。 オフライン長条件ドリフトモデルを用いて、編集ローカルな汚れ領域を予測する。 保存された注意から選択された緩やかな非局所ブロックでこの領域を拡大し、それらのユニオンを固定された修復セットにブロックする。
  論文  参考訳（メタデータ） (2026-08-18T11:17:02Z)
• RestoreKV: Recovering Full-Cache Behavior Under Aggressive Query-Agnostic KV Cache Eviction [10.668136973950453]
  KVキャッシュ消去はコンテキストを一度圧縮し、結果のキャッシュを任意の将来のクエリに再利用するが、パフォーマンスは厳しい予算の下で崩壊する可能性がある。 本稿では,この選択に基づく定式化を補完するRestoreKVを紹介する。 我々の重要な洞察は、排除によって失った情報は文脈固有であるが、そのコンパクトな補完を生成するメカニズムはコンテキスト間で共有できるということである。
  論文  参考訳（メタデータ） (2026-08-02T13:58:42Z)
• ResKV: Reconstructing Omitted Attention Contributions for Fixed-Budget KV Cache Compression [25.24197102648478]
  KVキャッシュ圧縮は、効率的な長文推論に不可欠である。 マージベースの代替手段は、より多くの情報を保持するが、正確に保持すべきキーと値を摂動することができる。 本稿では,固定KV予算を正確な主キャッシュとコンパクトな残留キャッシュに分割するResKVを提案する。
  論文  参考訳（メタデータ） (2026-07-31T16:16:45Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。