論文の概要: PatchKV: Efficient KV Cache Recovery for Dynamically Edited LLM Contexts

• arxiv url: http://arxiv.org/abs/2609.26219v1
• Date: Tue, 18 Aug 2026 11:17:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.926902
• Title: PatchKV: Efficient KV Cache Recovery for Dynamically Edited LLM Contexts
• Title（参考訳）: PatchKV:動的に編集されたLLMコンテキストのための効率的なKVキャッシュ復元
• Abstract要約: PatchKVは、サフィックス保存リビジョンのためのプロファイル誘導リカバリシステムである。 オフライン長条件ドリフトモデルを用いて、編集ローカルな汚れ領域を予測する。 保存された注意から選択された緩やかな非局所ブロックでこの領域を拡大し、それらのユニオンを固定された修復セットにブロックする。
• 参考スコア（独自算出の注目度）: 24.13656412709201
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-running LLM agent workflows often revise interior context spans while retaining long suffixes. Although suffix tokens remain unchanged, altered causal histories and rotary positions prevent exact reuse of their offloaded key-value (KV) states. Full suffix recomputation wastes prefill work, while indiscriminate reuse propagates stale states and full-precision restoration adds data movement. We present PatchKV, a profile-guided recovery system for suffix-preserving revisions. PatchKV decomposes adjacent context versions into an exact prefix, an updated span, and an aligned suffix. It predicts an edit-local dirty region using an offline length-conditioned drift model, augments this region with sparse nonlocal blocks selected from stored attention, and block-rounds their union into a fixed repair set. The remaining suffix blocks are restored from CPU memory using frozen per-block precision tags and a fused path for dequantization, RoPE correction, and KV-page placement. Across three models and three long-context question-answering workloads, PatchKV achieves a $2.51$-$3.85\times$ speedup in mean resume time-to-first-token over full suffix recomputation and a $1.26$-$2.06\times$ speedup over CacheBlend, while matching or exceeding CacheBlend's F1 score in six of nine settings and remaining within 1.36 points in the others.
• Abstract（参考訳）: 長期にわたるLLMエージェントワークフローは、長い接尾辞を保持しながら、内部のコンテキストスパンを更新することが多い。 接尾辞トークンは変わらず残っているが、因果履歴や回転位置はオフロードされたキー値(KV)状態の正確な再利用を防ぐ。 完全サフィックス再計算は前処理を無駄にし、無差別の再利用は古い状態を伝播させ、完全精度の復元はデータの動きを増す。 本稿では,サフィックス保存リビジョンのためのプロファイル誘導型リカバリシステムであるPatchKVを紹介する。 PatchKVは、隣接するコンテキストバージョンを、正確なプレフィックス、更新されたスパン、アライメントされたサフィックスに分解する。 オフライン長条件ドリフトモデルを用いて編集局所汚物領域を予測し、記憶された注意から選択された少ない非局所ブロックでこの領域を拡大し、それらのユニオンを固定された修復セットにブロックする。 残りの接尾辞ブロックは、凍結したブロックごとの精度タグと、復調、RoPE補正、KVページ配置のための融合パスを用いてCPUメモリから復元される。 PatchKVは、3つのモデルと3つの長いコンテキストの質問応答ワークロードで、2.51$-$3.85\times$のスピードアップを達成し、完全なサフィックス再計算を再開し、$1.26$-$2.06\times$のキャッシュブレンドに対するスピードアップを達成し、CacheBlendのF1スコアを9つの設定のうち6つで一致または超過し、残りは1.36ポイントに留まる。

関連論文リスト

• ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation [72.54604107217669]
  textscpass@$k$は圧縮後にほぼ消滅するが、textscpass@$k$は繰り返しサンプリングの下でほぼ回復する。 回復は、密集したトークンレベルの監督の下で、圧縮されたモデル自身のオン政治状態で訓練すべきである。 我々は,教師が確認した反復接尾辞を検知する短時間のOPDスケジュールであるtextbfshortopdを提案する。
  論文  参考訳（メタデータ） (2026-07-14T17:50:50Z)
• Kamera: Unified Position-Invariant Multimodal KV Cache for Training-Free Reuse [1.081571058570587]
  マルチモーダルエージェントは、同じビデオフレーム、UIスクリーンショット、アーティファクトをコンテキストウィンドウスライドとして再検査する。 この再計算は回避可能であることを示すとともに,KV再利用が損なうものを特定する。 したがって、ブラインドはシングルホップのリコールをそのまま残し、マルチホップの精度を半減させる。 トレーニング不要な低ランク条件パッチを各位置のないチャンクに格納して修復する。
  論文  参考訳（メタデータ） (2026-06-22T16:47:00Z)
• GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs [97.36238579001544]
  コンテキスト長が拡張された大規模言語モデル(LLM)は、キー値(KV)キャッシュに依存して、以前のトークンに対する注意をサポートする。 KVキャッシュを維持することは、KVキャッシュ圧縮メソッドを動機付け、かなりのメモリオーバーヘッドを引き起こす。 GRKVは,圧縮キャッシュとフルキャッシュのアテンション出力の差を直接最小化する,トレーニング不要なKV-cacheマージ手法である。
  論文  参考訳（メタデータ） (2026-05-29T10:16:30Z)
• AgentKVShift: Efficient KV Cache Reuse for Agentic Memory Systems [15.913507689262573]
  AgentKVShift(エージェントKVShift)は、検索したメモリ単位ごとに動作させる訓練不要のプローブ誘導残差補正手法である。 我々は,AgentKVShiftがキャッシュの10～30%をリフレッシュしながら,ほぼ完全な再計算性能を実現することを示す。 このほぼフルに近いパフォーマンスに達するには最大5倍の低い再計算が必要で、以前の再利用メソッドは45～55%のリフレッシュしか得られない。
  論文  参考訳（メタデータ） (2026-05-15T16:29:36Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• Rectified Sparse Attention [61.7702154360081]
  効率的なロングシーケンス生成は、大規模言語モデルにとって重要な課題である。 本稿では,ブロックスパースアテンションと周期的な密度補正を組み合わせた簡易かつ効果的な方法であるRectified Sparse Attention (ReSA)を提案する。 数学推論、言語モデリング、検索タスクにわたる実験は、ReSAがほぼ無作為な生成品質を達成することを示す。
  論文  参考訳（メタデータ） (2025-06-04T16:01:48Z)
• CacheBlend: Fast Large Language Model Serving for RAG with Cached Knowledge Fusion [15.344568214955688]
  大規模な言語モデル(LLM)は、必要なコンテキストを提供するために、入力に複数のテキストチャンクを組み込むことが多い。 長いLLM入力のプリフィルを高速化するため、別のLLM入力のプレフィックスとしてコンテキストが再利用された場合、テキストのKVキャッシュをプリコンプリートし、KVキャッシュを再使用することができる。 本稿では,KVキャッシュを高速に組み合わせて,高価なプリフィルと同世代の品質を実現する方法を提案する。
  論文  参考訳（メタデータ） (2024-05-26T06:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。