論文の概要: When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse

• arxiv url: http://arxiv.org/abs/2609.28870v2
• Date: Thu, 01 Oct 2026 17:56:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.334237
• Title: When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse
• Title（参考訳）: Fancy Evictionが失敗したとき: LLMのプリフィックスリユースのためのキャッシュリプレースを再考する
• Abstract要約: エージェントのワークロード下でのプレフィックスとキャッシュの動作は、いまだに理解されていない。 本研究では,2つの企業の生産トレースを調査し,14のエビクションアルゴリズムの評価を行った。 本研究は, 有効接頭辞管理を基礎として, ワンヒット接頭辞の迅速な脱落を選択的に追加し, 有効接頭辞管理を基礎として維持すべきであることを示す。
• 参考スコア（独自算出の注目度）: 7.5424791994224805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-running LLM applications repeatedly send growing context, making prefix caching critical for reducing prefill cost. Yet prefix-cache behavior under agentic workloads remains poorly understood. We study production traces from two companies and evaluate 14 eviction algorithms across HBM-constrained and large memory-pool settings. Despite a large gap to Belady, sophisticated policies designed for traditional caches provide little benefit over LRU. The reason is structural: prefix reuse is dominated by the regular pacing of active sessions, making recency unusually predictive. Prefix caching nevertheless introduces new challenges, including heavy-tailed session footprints and highly variable miss costs as attention computation grows with sequence length. We introduce the compute-savings ratio and two offline oracles to quantify these effects. Our results show that effective prefix-cache management should retain recency as its foundation while selectively adding quick demotion for one-hit prefixes, compute-aware partial eviction for expensive misses, and capacity-dependent eviction granularity. We will release the traces and simulator to support future research.
• Abstract（参考訳）: 長期にわたるLLMアプリケーションは、成長するコンテキストを繰り返し送信し、プレフィルコストを削減するためにプレフィックスキャッシングが重要になる。 しかし、エージェントのワークロード下でのプレフィックスキャッシュの動作は、まだよく理解されていない。 本研究では,2社の生産トレースを調査し,HBMに制約された大規模メモリプール設定における14のエビクションアルゴリズムを評価した。 Beladyには大きなギャップがあるが、従来のキャッシュ用に設計された洗練されたポリシーは、LRUよりもほとんど利点がない。 その理由は構造的であり、プレフィックスの再利用はアクティブセッションの定期的なペーシングによって支配され、レクリエーションが異常に予測される。 にもかかわらず、プリフィックスキャッシュは、重み付きセッションフットプリントや、アテンション計算がシーケンス長とともに増加するにつれて、非常に可変的なミスコストなど、新しい課題を導入している。 これらの効果を定量化するために,計算-省力比と2つのオフラインオラクルを導入する。 以上の結果より, 有効接頭辞管理は, 1 個の接頭辞に対する迅速な削除, 高価なミスに対するコンピュータ対応部分的排除, キャパシティに依存した粒度を選択的に追加しながら, 根幹として保持すべきであることが示唆された。 今後の研究を支援するため、トレースとシミュレータをリリースする。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Continuous Semantic Caching for Low-Cost LLM Serving [29.887977985331972]
  セマンティックに類似したクエリを持つユーザが再利用できるように、レスポンスのキャッシュは、推論コストとレイテンシを低減する上で重要な戦略となっている。 既存のキャッシュフレームワークでは、離散的なクエリの有限な宇宙を仮定して、キャッシュに対するクエリ応答を決定する方法が提案されている。 我々は,連続的なクエリ空間におけるLLM応答キャッシングを不確実性の下で意味付けるための,最初の厳密な理論的枠組みを確立する。
  論文  参考訳（メタデータ） (2026-04-21T21:56:43Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。 現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• Lookahead Q-Cache: Achieving More Consistent KV Cache Eviction via Pseudo Query [48.52389201779425]
  KVキャッシュメモリの使用は、長いテキストシーケンスで大幅に増加する。 プリフィルステージアテンションスコアを用いた既存のKVキャッシュ消去手法Pruneトークン Lookahead Q-Cacheは、真のデコードステージクエリをよりよく近似するために、低コストの疑似ルックアヘッドクエリを生成する。
  論文  参考訳（メタデータ） (2025-05-24T10:34:38Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• Cache Replacement as a MAB with Delayed Feedback and Decaying Costs [4.358626952482686]
  我々は、よく知られたマルチアームバンディット(MAB)の新しい変種を提案し、解決する。 各アームは異なるキャッシュ置換ポリシーを表しており、必要に応じてキャッシュから削除するようページ上でアドバイスする。 適応型強化学習アルゴリズムEXP4-DFDCを導入する。
  論文  参考訳（メタデータ） (2020-09-23T18:26:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。