論文の概要: Semantic Caches for LLM Web Services Leave Their Error Budget Unspent

• arxiv url: http://arxiv.org/abs/2611.02498v1
• Date: Mon, 02 Nov 2026 04:18:32 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:34:05.911024
• Title: Semantic Caches for LLM Web Services Leave Their Error Budget Unspent
• Title（参考訳）: LLM Webサービスのためのセマンティックキャッシュは、エラー予算を未然に残す
• Abstract要約: vCacheは、各クエリのエラーを$$でバインドするエントリ単位のルールを学習する。 余剰は、パラフレーズクラスタ間で共有されるリスクスコアによってクエリをランク付けする。 プールされたヒットレートは、各セルで4.10ポイントの差で最高のベースラインを破る。
• 参考スコア（独自算出の注目度）: 5.7979373388511775
• License:
• Abstract: Web services built on large language models (LLMs) receive many paraphrases of earlier queries, which a semantic cache answers from stored responses. A reused answer can be wrong, so wrong answers must stay below a share $δ$ of the queries. Existing caches reuse above a fixed similarity threshold or, like vCache, learn a per-entry rule that bounds each query's error by $δ$. However, fixed thresholds break the budget on new streams, and per-entry rules need labels on every entry before reusing it. We find an unspent error budget, as vCache realizes only 12-55% of $δ$ on three public query streams. Surplus spends this budget where reuse is most likely correct. It ranks queries by a risk score shared across paraphrase clusters and opens risk bins as far as an audited error estimate allows. Free labels from every LLM call and a ledger of realized errors keep this threshold safe under drift. On five streams, including ORCAS search queries, Surplus holds $δ$ in every test cell, which no baseline does. On the shuffled streams it serves 40% more hits than vCache, and its pooled hit rate beats the best baseline holding $δ$ in each cell by 4.10 points. In a vLLM testbed it cuts the mean latency by 31.59% at the highest load, against 23.67% for vCache.
• Abstract（参考訳）: 大規模言語モデル(LLM)上に構築されたWebサービスは、保存された応答からセマンティックキャッシュが応答する、以前のクエリの多くのパラフレーズを受け取る。 再利用された答えは間違っている可能性があるので、間違った答えはクエリの共有$δ$以下でなければならない。 既存のキャッシュは、固定された類似性しきい値以上の再利用を行うか、あるいはvCacheのように、各クエリのエラーを$δ$でバインドするエントリ単位のルールを学ぶ。 しかし、固定しきい値は、新しいストリームの予算を破り、エントリ毎のルールは、それを再利用する前に、すべてのエントリにラベルを必要とする。 vCacheは3つの公開クエリストリームでわずか12～55%のδ$しか実現していません。 余剰は再利用の可能性が最も高いこの予算に費やします。 クエリを、パラフレーズクラスタ間で共有されるリスクスコアでランク付けし、監査済みのエラー推定が許す限り、リスクビンを開く。 すべてのLSMコールからのフリーラベルと、実現したエラーの台帳は、このしきい値のドリフトを安全に保ちます。 ORCAS検索クエリを含む5つのストリームでは、Surplusはすべてのテストセルに$δ$を持ち、ベースラインが存在しない。 シャッフルストリームでは、vCacheよりも40%多くヒットし、プールされたヒットレートは各セルでδ$を4.10ポイント上回る。 vLLMテストベッドでは、最高負荷時の平均レイテンシを31.59%削減し、vCacheは23.67%になった。

関連論文リスト

• Multi-Turn Semantic Caching for Low-Cost LLM Serving [19.956927625393213]
  我々は、判断フィードバックからキャッシュされた応答が受け入れられない確率を学習し、キャッシュに予算化された会話状態を選択する。 我々は,対話状態が再帰した場合の$N$要求に対して,CUCB-SC-MT と CLCB-LS-MT とを学習し,$tilde O(sqrt N)$ regret を持つ CUCB-SC-MT を提案する。
  論文  参考訳（メタデータ） (2026-10-31T16:16:16Z)
• Risk-Constrained Freshness-Aware Semantic Caching for Open-Web Retrieval-Augmented LLMs [0.0]
  本稿では,キャッシュ再利用をリスク制約のある時間的推論問題として扱う3層セマンティックキャッシュであるFreshCacheを提案する。 FreshCacheは、その確率が回答、URLリスト、ページ内容の階層ごとのエラー予算を下回る場合にのみ、再利用を承認する。 24時間評価ウィンドウでは、FreshCache_MLPが97%の検索API保存を0.1%のハッシュベースのストールエラーで達成している。
  論文  参考訳（メタデータ） (2026-07-05T12:47:36Z)
• Clarify-Then-Search: A Clarification Benchmark for Deep Search with End-to-End Nugget Restoration [66.89521868638815]
  我々は,LLM生成の解明質問が下流の深層探索ユーティリティを改善するかどうかを評価するベンチマークであるClarify-Then-Searchを紹介する。 Baidu検索エンジンの実際のクエリデータに基づいて構築されたこのベンチマークには、518のキュレートされたインスタンスが含まれている。 静的な金に対して部分的にクレジットされた重み付きナゲット・リコールスコアであるrepure_score_100を用いて、エンドツーエンドのユーティリティをスコアする。
  論文  参考訳（メタデータ） (2026-06-17T13:16:31Z)
• Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
  プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。 21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
  論文  参考訳（メタデータ） (2026-06-01T19:39:25Z)
• IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse [68.18308357205586]
  Longcontext Agenticは、大規模言語モデルの定義ユースケースとして登場した。 Sparseは、この課題を効果的に解決し、DeepSeek Sparse Attention(DSA)は、代表的なプロダクショングレードソリューションである。 我々は、レイヤを独自のインデクサを実行するフルレイヤの小さなセットと、最も近いフルレイヤのトップkインデックスを単純に再利用する共有レイヤの大多数に分割することで、層間の冗長性を利用するIndexCacheを紹介します。
  論文  参考訳（メタデータ） (2026-03-12T17:27:21Z)
• LLM Cache Bandit Revisited: Addressing Query Heterogeneity for Cost-Effective LLM Inference [87.57291812372848]
  我々は、最適なキャッシュ選択をknapsack問題として扱い、計算オーバーヘッドとキャッシュ更新のバランスをとるために蓄積ベースの戦略を用いる。 我々のアルゴリズムの後悔は$O(sqrtMNT)$boundを達成し、バークレーの$O(MNsqrtT)$と比較して$sqrtMN$の係数を改善することを証明している。 問題に依存したバウンダリも提供しています。
  論文  参考訳（メタデータ） (2025-09-19T01:39:08Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)
• MeanCache: User-Centric Semantic Caching for LLM Web Services [8.350378532274405]
  キャッシングは、繰り返しクエリの推論コストを削減するための自然なソリューションである。 本稿では,LLMベースのサービスのためのユーザ中心セマンティックキャッシュであるMeanCacheを紹介する。 MeanCacheは、セマンティックに類似したクエリを特定して、キャッシュヒットやミスを判定する。
  論文  参考訳（メタデータ） (2024-03-05T06:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。