論文の概要: Continuous Semantic Caching for Low-Cost LLM Serving

• arxiv url: http://arxiv.org/abs/2604.20021v1
• Date: Tue, 21 Apr 2026 21:56:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:10.868673
• Title: Continuous Semantic Caching for Low-Cost LLM Serving
• Title（参考訳）: 低コストLDMサービング用連続セマンティックキャッシング
• Authors: Baran Atalar, Xutong Liu, Jinhang Zuo, Siwei Wang, Wei Chen, Carlee Joe-Wong,
• Abstract要約: セマンティックに類似したクエリを持つユーザが再利用できるように、レスポンスのキャッシュは、推論コストとレイテンシを低減する上で重要な戦略となっている。 既存のキャッシュフレームワークでは、離散的なクエリの有限な宇宙を仮定して、キャッシュに対するクエリ応答を決定する方法が提案されている。 我々は,連続的なクエリ空間におけるLLM応答キャッシングを不確実性の下で意味付けるための,最初の厳密な理論的枠組みを確立する。
• 参考スコア（独自算出の注目度）: 29.887977985331972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Large Language Models (LLMs) become increasingly popular, caching responses so that they can be reused by users with semantically similar queries has become a vital strategy for reducing inference costs and latency. Existing caching frameworks have proposed to decide which query responses to cache by assuming a finite, known universe of discrete queries and learning their serving costs and arrival probabilities. As LLMs' pool of users and queries expands, however, such an assumption becomes increasingly untenable: real-world LLM queries reside in an infinite, continuous embedding space. In this paper, we establish the first rigorous theoretical framework for semantic LLM response caching in continuous query space under uncertainty. To bridge the gap between discrete optimization and continuous representation spaces, we introduce dynamic $ε$-net discretization coupled with Kernel Ridge Regression. This design enables the system to formally quantify estimation uncertainty and generalize partial feedback on LLM query costs across continuous semantic query neighborhoods. We develop both offline learning and online adaptive algorithms optimized to reduce switching costs incurred by changing the cached responses. We prove that our online algorithm achieves a sublinear regret bound against an optimal continuous oracle, which reduces to existing bounds for discrete query models. Extensive empirical evaluations demonstrate that our framework approximates the continuous optimal cache well while also reducing computational and switching overhead compared to existing methods.
• Abstract（参考訳）: 大きな言語モデル(LLM)が普及するにつれて、セマンティックに類似したクエリを使用可能なキャッシュ応答が、推論コストとレイテンシを低減する上で重要な戦略となっている。 既存のキャッシュフレームワークでは、離散的なクエリの有限な宇宙を仮定し、その提供コストと到着確率を学習することで、キャッシュに対するクエリ応答を決定する方法が提案されている。 しかし、LLMsのユーザとクエリのプールが拡大するにつれて、そのような仮定はますます難しくなり、現実のLLMクエリは無限に連続的な埋め込み空間に置かれる。 本稿では,不確実性のある連続クエリ空間において,セマンティックLLM応答キャッシングのための厳密な理論的枠組みを確立する。 離散最適化と連続表現空間のギャップを埋めるために、Kernel Ridge Regressionと組み合わせた動的$ε$-net離散化を導入する。 この設計により,予測の不確かさを形式的に定量化し,連続的なセマンティッククエリ近傍でLLMクエリコストに対する部分的なフィードバックを一般化することができる。 我々はオフライン学習とオンライン適応アルゴリズムの両方を開発し、キャッシュされた応答を変化させることで生じる切り替えコストを削減した。 我々のオンラインアルゴリズムは、最適な連続オラクルに対してサブ線形後悔を達成し、離散的なクエリモデルに対する既存の境界に還元することを示す。 大規模な実験により,我々のフレームワークは,従来の手法に比べて計算と切り替えのオーバーヘッドを低減しつつ,連続的な最適キャッシュをうまく近似することを示した。

関連論文リスト

• $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
  $nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。 $nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
  論文  参考訳（メタデータ） (2026-03-05T08:42:54Z)
• Semantic Caching for Low-Cost LLM Serving: From Offline Learning to Online Adaptation [54.61034867177997]
  キャッシング推論応答は、大きな言語モデルに他の前方を通さずに、それらを検索することができる。 従来の正確なキャッシュは、クエリ間のセマンティックな類似性を見落とし、不要な再計算をもたらす。 本稿では,未知のクエリおよびコスト分布下でのセマンティックキャッシュ消去のための,原則的,学習ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-11T06:53:27Z)
• Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [65.18157595903124]
  本研究では任意のプロンプトの反復的近似評価について検討する。 Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。 MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
  論文  参考訳（メタデータ） (2025-07-07T03:20:52Z)
• Online Scheduling for LLM Inference with KV Cache Constraints [22.133592174540052]
  大規模言語モデル(LLM)推論は、レイテンシとリソース利用を最適化するための効率的なスケジューリングを必要とする集約的なプロセスである。 KVキャッシュのメモリを効果的に管理しながら、推論遅延を最小限に抑える、新しい理論的なスケジューリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-02-10T23:11:44Z)
• Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching [72.50506500576746]
  我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。 近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。 我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
  論文  参考訳（メタデータ） (2021-12-13T13:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。