論文の概要: CacheReforge: Bounded Recovery for Stale KV Caches under Evolving Adapters

• arxiv url: http://arxiv.org/abs/2609.30884v1
• Date: Fri, 25 Sep 2026 06:46:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.26059
• Title: CacheReforge: Bounded Recovery for Stale KV Caches under Evolving Adapters
• Title（参考訳）: CacheReforge: 進化するアダプタの下での静的KVキャッシュのバウンドリカバリ
• Abstract要約: KVキャッシュを階層的に混合変換オブジェクトとして表現するCacheReforgeを導入する。 16K HotpotQA と 2WikiMQA のワークロードを含む連続的な LoRA 更新で Qwen2.5-1.5B と Qwen2.5-7B で評価した。
• 参考スコア（独自算出の注目度）: 19.335974130332787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models rely on KV caching to reduce repeated prefill computation in long context and interactive applications. As lightweight adapters evolve, cached states reflect earlier versions, so stale reuse distorts current model outputs, while complete affected suffix recomputation restores fidelity at substantial cost. We seek minimal recomputation that recovers current adapter behavior. Existing systems track token, context, or stable adapter identity, but neither represent caches from earlier adapter versions nor distinguish update propagation from the recomputation required for behavioral recovery. To address these gaps, we introduce CacheReforge, which represents stale KV caches as layerwise mixed-version objects. It combines per-layer adapter anchors, calibrated sensitivity, accumulated drift, and executable restart boundaries to select direct reuse, bounded recomputation, or complete affected-suffix recovery. We distinguish dependency depth from the functional recomputation horizon and use cumulative tail influence to characterize when bounded recovery preserves current-model behavior. We evaluate CacheReforge on Qwen2.5-1.5B and Qwen2.5-7B with continual LoRA updates, including 16K HotpotQA and 2WikiMQA workloads. CacheReforge reduces mean KL divergence by 92.4% relative to stale reuse, while recomputing only 5.44% of layers and reducing cache-maintenance time by 93.2% relative to fresh full prefill. These results show that version-aware recovery preserves model fidelity and most KV caching gains.
• Abstract（参考訳）: 大規模言語モデルは、長いコンテキストと対話的なアプリケーションにおいて、繰り返しプリフィル計算を減らすためにKVキャッシュに依存している。 軽量アダプタが進化するにつれて、キャッシュされた状態は以前のバージョンを反映するので、古い再利用は現在のモデルの出力を歪ませる。 我々は、現在のアダプタの動作を回復する最小限の再計算を求める。 既存のシステムはトークン、コンテキスト、安定したアダプタIDを追跡するが、以前のアダプタバージョンからのキャッシュを表現したり、リカバリに必要な再計算と更新の伝搬を区別したりしない。 これらのギャップに対処するため、私たちはCacheReforgeを紹介します。 層ごとのアダプタアンカー、キャリブレーションされた感度、蓄積されたドリフト、実行可能再起動バウンダリを組み合わせて、直接再利用、バウンドされた再計算、あるいは完全な影響したサフィックスリカバリを選択する。 機能的再計算地平線と依存関係の深さを区別し,有界回復が現在のモデル挙動を保ったときに特徴付けるために累積的な尾の影響を用いる。 16K HotpotQA と 2WikiMQA のワークロードを含む連続的な LoRA 更新で Qwen2.5-1.5B と Qwen2.5-7B のCacheReforge を評価した。 CacheReforgeは、古い再利用と比較して平均KLのばらつきを92.4%削減する一方で、レイヤの5.44%しか再計算せず、新しいプリフィルに比べてキャッシュ保守時間を93.2%削減する。 これらの結果から,バージョンアウェアリカバリはモデル忠実度とほとんどのKVキャッシュゲインを維持できることがわかった。

関連論文リスト

• DistillCache: KL-Guided Adaptive KV-Cache Eviction for Memory-Efficient LLM Inference [0.0]
  トランスフォーマーベースの大規模言語モデル(LLM)は多くのタスクで高いパフォーマンスを達成するが、キーバリュー(KV)キャッシュはシーケンス長とともに線形に増大する。 逐次決定問題としてKV-cache消去を定式化する強化学習フレームワークであるDistillCacheを提案する。
  論文  参考訳（メタデータ） (2026-08-09T19:33:43Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Affix Cache for Diffusion Large Language Models [13.249427925543321]
  ACacheは、プレフィックスを超えたDLLMの共有テキストスパンのための、アフィクス指向のキャッシュ再利用メカニズムである。 ACacheは再計算のレイテンシを最大55.7%削減し、エンドツーエンドのスループットを最大1.68$times$に改善する。
  論文  参考訳（メタデータ） (2026-06-26T07:29:32Z)
• Grounded Cache Routing for Retrieval-Augmented Generation: When Is It Safe to Reuse an Answer? [0.0]
  我々は、4つの安価なゲートが同時に保持されている場合にのみキャッシュされた応答を許容するエビデンス検証キャッシュルータであるGroundedCacheを提案する。 我々は、ヒットレートだけでなく、キャッシュ安全性をストレステストする6段階のワークロードを構築し、オペレーター向けメトリックであるunsafe-served rate (USR)を導入する。 2つのデータセットと12,000の実LLM世代(Qwen2.5-7B-Instruct on vLLM with Automatic Prefix Caching)、GroundedCacheはUSRをすべてのHotpotQAシステムで0.0%、mtRAGドキュメントドリフトで1.5%まで駆動する。
  論文  参考訳（メタデータ） (2026-05-26T16:50:02Z)
• Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing [29.913403615975174]
  高いスループットでトランスフォーマー言語モデルを実行するには、冗長な計算を避けるためにキーバリュー(KV)をキャッシュする必要がある。 KVキャッシュのメモリフットプリントは著しく、サービスコストに大きな影響を与えます。 本稿では,ランダムな層間注意(ランダムな層間注意,ランダムな層間注意,ランダムな層間注意)を提案する。
  論文  参考訳（メタデータ） (2026-04-03T14:56:17Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。