論文の概要: Multi-Turn Semantic Caching for Low-Cost LLM Serving

• arxiv url: http://arxiv.org/abs/2611.01077v1
• Date: Sat, 31 Oct 2026 16:16:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.449107
• Title: Multi-Turn Semantic Caching for Low-Cost LLM Serving
• Title（参考訳）: マルチターンシーマンティックキャッシングによる低コストLCMサービング
• Abstract要約: 我々は、判断フィードバックからキャッシュされた応答が受け入れられない確率を学習し、キャッシュに予算化された会話状態を選択する。 我々は,対話状態が再帰した場合の$N$要求に対して,CUCB-SC-MT と CLCB-LS-MT とを学習し,$tilde O(sqrt N)$ regret を持つ CUCB-SC-MT を提案する。
• 参考スコア（独自算出の注目度）: 19.956927625393213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic caching lowers the cost of serving large language models (LLMs) by reusing stored responses for similar requests. In multi-turn conversations, whether a cached response is acceptable depends on both conversations' histories, which embedding similarity of requests and histories predicts poorly (AUC 0.62--0.74 on five workloads). We therefore learn the \emph{reuse risk}, the probability that a cached response is unacceptable, from judge feedback, and choose a budgeted set of conversation states to cache by weighing the generation cost a reuse avoids against a price for unacceptable reuse. We propose CUCB-SC-MT, which learns a cache from logged conversations with a suboptimality guarantee, and CLCB-LS-MT, which learns online and has $\tilde O(\sqrt N)$ regret over $N$ requests when conversation states recur. On math-tutoring (SocraTeach) and movie-ticketing (Taskmaster-3) conversations, both achieve lower loss than prior semantic caching approaches: ContextCache, multi-turn variants of ElastiCache and vCache, and single-turn semantic caching at every cache budget. With 1,000 cache entries, CLCB-LS-MT avoids 35--41\% of the generation cost through acceptable reuses, against at most 22--25\% for the baselines, and lowers estimated serving latency by 19--35\%.
• Abstract（参考訳）: セマンティックキャッシュは、同様の要求に対してストアドレスポンスを再利用することで、大きな言語モデル(LLM)を提供するコストを下げる。 マルチターン会話では、キャッシュされた応答が許容されるかどうかは、両方の会話の履歴に依存する。 そこで我々は,キャッシュされた応答が受け入れられない確率である「emph{reuse risk}」を判断フィードバックから学習し,再利用が許容できない再利用コストに対して回避する生成コストを重み付けして,予算のついた会話状態を選択してキャッシュ化する。 我々は,対話状態が再帰した場合に$N$の要求に対して,CUCB-SC-MT と CLCB-LS-MT を学習し,$\tilde O(\sqrt N) を後悔する CLCB-LS-MT を提案する。 数学のチューニング(SocraTeach)と映画撮影(Taskmaster-3)の会話では、どちらも従来のセマンティックキャッシュアプローチよりも低損失を実現している。 1000のキャッシュエントリにより、CLCB-LS-MTは、許容可能な再利用を通じて生成コストの35-41-%を回避し、ベースラインの少なくとも22-25-%に対して、推定サービスレイテンシを19-35-%削減する。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• LLM Cache Bandit Revisited: Addressing Query Heterogeneity for Cost-Effective LLM Inference [87.57291812372848]
  我々は、最適なキャッシュ選択をknapsack問題として扱い、計算オーバーヘッドとキャッシュ更新のバランスをとるために蓄積ベースの戦略を用いる。 我々のアルゴリズムの後悔は$O(sqrtMNT)$boundを達成し、バークレーの$O(MNsqrtT)$と比較して$sqrtMN$の係数を改善することを証明している。 問題に依存したバウンダリも提供しています。
  論文  参考訳（メタデータ） (2025-09-19T01:39:08Z)
• Semantic Caching for Low-Cost LLM Serving: From Offline Learning to Online Adaptation [54.61034867177997]
  キャッシング推論応答は、大きな言語モデルに他の前方を通さずに、それらを検索することができる。 従来の正確なキャッシュは、クエリ間のセマンティックな類似性を見落とし、不要な再計算をもたらす。 本稿では,未知のクエリおよびコスト分布下でのセマンティックキャッシュ消去のための,原則的,学習ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-11T06:53:27Z)
• ContextCache: Context-Aware Semantic Cache for Multi-Turn Queries in Large Language Models [33.729482204460815]
  このデモでは、マルチターン対話のためのコンテキスト対応セマンティックキャッシュシステムであるContextCacheを紹介した。 ContextCacheは、2段階の検索アーキテクチャを使用し、まず現在のクエリ上でベクトルベースの検索を実行し、潜在的なマッチングを識別し、その後、正確なコンテキストマッチングのための自己認識機構を通じて、現在の対話表現と過去の対話表現を統合する。 キャッシュされた応答は、直接LLM呼び出しの約10倍のレイテンシを示し、会話アプリケーションに対する計算コストの大幅な削減を可能にする。
  論文  参考訳（メタデータ） (2025-06-28T07:25:12Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)
• MeanCache: User-Centric Semantic Caching for LLM Web Services [8.350378532274405]
  キャッシングは、繰り返しクエリの推論コストを削減するための自然なソリューションである。 本稿では,LLMベースのサービスのためのユーザ中心セマンティックキャッシュであるMeanCacheを紹介する。 MeanCacheは、セマンティックに類似したクエリを特定して、キャッシュヒットやミスを判定する。
  論文  参考訳（メタデータ） (2024-03-05T06:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。