論文の概要: When Classic Cache Policies Fail: Learning-Augmented Replacement for Semantic Retrieval Buffers

• arxiv url: http://arxiv.org/abs/2607.00394v1
• Date: Wed, 01 Jul 2026 03:38:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.706445
• Title: When Classic Cache Policies Fail: Learning-Augmented Replacement for Semantic Retrieval Buffers
• Title（参考訳）: 古典的なキャッシュポリシーが失敗したとき: セマンティック検索バッファの学習強化リプレース
• Abstract要約: LLMエージェントは、過去の経験を保存し再利用するために、検索バッファにますます依存している。 我々はこれを、切り替えコストを伴うオンラインセマンティックキャッシュ置換問題として定式化する。 後悔の蓄積から修正タイミングを導出する学習強化フレームワークであるSOLARを提案する。
• 参考スコア（独自算出の注目度）: 43.46514805933049
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents increasingly rely on retrieval buffers to store and reuse past experience, yet the cache management policies governing these buffers remain largely ad-hoc. We formalize this as an online semantic cache replacement problem with switching costs, where items are matched by embedding similarity and hit quality is continuous rather than binary. Through experiments on two datasets from MemoryBench-Full (LoCoMo, DialSim) with 8 replacement policies, we reveal a surprising finding: classic heuristics (LRU, LFU) \emph{consistently underperform} the naive FIFO baseline on semantic workloads, due to the absence of temporal locality and frequency concentration. We propose SOLAR, a learning-augmented framework that derives modification timing from regret accumulation (achieving $\sim$17\% modification rate) and content selection from Bayesian online learning over implicit retrieval feedback. We prove SOLAR achieves a constant competitive ratio $\leq 3$, independent of cache size and horizon (vs.\ $Ω(K)$ for FIFO), and eviction regret $O(\sqrt{KT\log T})$, matching the $Ω(\sqrt{KT})$ lower bound up to logarithmic factors. Experiments demonstrate 5--75\% relative improvement over FIFO at tight cache sizes, with a clearly characterized phase transition at the working set boundary. Synthetic experiments with 5000-item pools further reveal an inverted-U relationship between pool size and retrieval quality, justifying capacity constraints as a retrieval noise phenomenon rather than a storage limitation.
• Abstract（参考訳）: LLMエージェントは、過去の経験を保存し再利用するために、検索バッファにますます依存しているが、これらのバッファを管理するキャッシュ管理ポリシーは、ほとんどアドホックのままである。 我々はこれを、オンラインのセマンティックキャッシュ置換問題として定式化し、変更コストで、アイテムは類似性を埋め込むことで一致し、ヒット品質はバイナリではなく連続する。 MemoryBench-Full (LoCoMo, DialSim) の8つの代替ポリシによる2つのデータセットの実験により,古典的ヒューリスティックス (LRU, LFU) \emph{consistently underperform} の時間的局所性や周波数集中の欠如により,セマンティックワークロード上の素質的FIFOベースラインが低下する,という驚くべき発見が明らかになった。 SOLARは,暗黙のフィードバックよりも,後悔の蓄積($\sim$17\%の修正率)とベイズオンライン学習からのコンテンツ選択から,修正タイミングを導出する学習拡張フレームワークである。 我々は,SOLARがキャッシュサイズと水平線(vs)に依存しない一定の競合比$\leq 3$を達成することを証明した。 \ $Ω(K)$ for FIFO) and eviction regret $O(\sqrt{KT\log T})$, with the $Ω(\sqrt{KT})$ lower bound up to logarithmic factors。 実験では、FIFOよりも5--75\%の相対的なキャッシュサイズの改善を示し、動作セット境界での位相遷移を明らかにした。 5000石のプールを用いた合成実験により、プールサイズと検索品質の逆U関係が明らかになり、容量制約を記憶制限ではなく、検索ノイズ現象として正当化する。

関連論文リスト

• Continuous Semantic Caching for Low-Cost LLM Serving [29.887977985331972]
  セマンティックに類似したクエリを持つユーザが再利用できるように、レスポンスのキャッシュは、推論コストとレイテンシを低減する上で重要な戦略となっている。 既存のキャッシュフレームワークでは、離散的なクエリの有限な宇宙を仮定して、キャッシュに対するクエリ応答を決定する方法が提案されている。 我々は,連続的なクエリ空間におけるLLM応答キャッシングを不確実性の下で意味付けるための,最初の厳密な理論的枠組みを確立する。
  論文  参考訳（メタデータ） (2026-04-21T21:56:43Z)
• LLM Cache Bandit Revisited: Addressing Query Heterogeneity for Cost-Effective LLM Inference [87.57291812372848]
  我々は、最適なキャッシュ選択をknapsack問題として扱い、計算オーバーヘッドとキャッシュ更新のバランスをとるために蓄積ベースの戦略を用いる。 我々のアルゴリズムの後悔は$O(sqrtMNT)$boundを達成し、バークレーの$O(MNsqrtT)$と比較して$sqrtMN$の係数を改善することを証明している。 問題に依存したバウンダリも提供しています。
  論文  参考訳（メタデータ） (2025-09-19T01:39:08Z)
• Semantic Caching for Low-Cost LLM Serving: From Offline Learning to Online Adaptation [54.61034867177997]
  キャッシング推論応答は、大きな言語モデルに他の前方を通さずに、それらを検索することができる。 従来の正確なキャッシュは、クエリ間のセマンティックな類似性を見落とし、不要な再計算をもたらす。 本稿では,未知のクエリおよびコスト分布下でのセマンティックキャッシュ消去のための,原則的,学習ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-11T06:53:27Z)
• Lookahead Q-Cache: Achieving More Consistent KV Cache Eviction via Pseudo Query [48.52389201779425]
  KVキャッシュメモリの使用は、長いテキストシーケンスで大幅に増加する。 プリフィルステージアテンションスコアを用いた既存のKVキャッシュ消去手法Pruneトークン Lookahead Q-Cacheは、真のデコードステージクエリをよりよく近似するために、低コストの疑似ルックアヘッドクエリを生成する。
  論文  参考訳（メタデータ） (2025-05-24T10:34:38Z)
• CacheFocus: Dynamic Cache Re-Positioning for Efficient Retrieval-Augmented Generation [6.544043376474944]
  LLM(Large Language Models)は、入力長と計算コストの制限により、様々な言語タスクを排他的に拡張する。 既存のアプローチであるtextemdashは、これらの問題を部分的に緩和するが、しばしば追加のトレーニングを必要とするか、より長い入力でパフォーマンス劣化に悩まされる。 textbftextitCacheFocusは、長さの正規化を強化し、さらなるトレーニングを行わずに推論遅延を低減する方法である。
  論文  参考訳（メタデータ） (2025-02-16T12:33:16Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• MeanCache: User-Centric Semantic Caching for LLM Web Services [8.350378532274405]
  キャッシングは、繰り返しクエリの推論コストを削減するための自然なソリューションである。 本稿では,LLMベースのサービスのためのユーザ中心セマンティックキャッシュであるMeanCacheを紹介する。 MeanCacheは、セマンティックに類似したクエリを特定して、キャッシュヒットやミスを判定する。
  論文  参考訳（メタデータ） (2024-03-05T06:23:50Z)
• Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching [72.50506500576746]
  我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。 近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。 我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
  論文  参考訳（メタデータ） (2021-12-13T13:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。