論文の概要: Asynchronous Verified Semantic Caching for Tiered LLM Architectures

• arxiv url: http://arxiv.org/abs/2602.13165v1
• Date: Fri, 13 Feb 2026 18:25:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-16 23:37:54.071583
• Title: Asynchronous Verified Semantic Caching for Tiered LLM Architectures
• Title（参考訳）: 階層型LLMアーキテクチャのための非同期検証セマンティックキャッシング
• Authors: Asmit Kumar Singh, Haozhe Wang, Laxmi Naga Santosh Attaluri, Tak Chiam, Weihua Zhu,
• Abstract要約: 大規模言語モデル(LLM)は、現在、検索、補助、エージェントの重要な経路にある。 オンラインに集約された動的キャッシュによってバックアップされたログから収集された、キュレートされたオフラインのベットされたレスポンスの静的キャッシュ。 textbfKritesは非同期のLCM-judgedキャッシュポリシで、サービス決定を変更することなく静的カバレッジを拡張する。
• 参考スコア（独自算出の注目度）: 0.7204795910838664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) now sit in the critical path of search, assistance, and agentic workflows, making semantic caching essential for reducing inference cost and latency. Production deployments typically use a tiered static-dynamic design: a static cache of curated, offline vetted responses mined from logs, backed by a dynamic cache populated online. In practice, both tiers are commonly governed by a single embedding similarity threshold, which induces a hard tradeoff: conservative thresholds miss safe reuse opportunities, while aggressive thresholds risk serving semantically incorrect responses. We introduce \textbf{Krites}, an asynchronous, LLM-judged caching policy that expands static coverage without changing serving decisions. On the critical path, Krites behaves exactly like a standard static threshold policy. When the nearest static neighbor of the prompt falls just below the static threshold, Krites asynchronously invokes an LLM judge to verify whether the static response is acceptable for the new prompt. Approved matches are promoted into the dynamic cache, allowing future repeats and paraphrases to reuse curated static answers and expanding static reach over time. In trace-driven simulations on conversational and search workloads, Krites increases the fraction of requests served with curated static answers (direct static hits plus verified promotions) by up to $\textbf{3.9}$ times for conversational traffic and search-style queries relative to tuned baselines, with unchanged critical path latency.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、検索、アシスト、エージェントワークフローのクリティカルパスに位置し、推論コストとレイテンシを低減するためにセマンティックキャッシングが不可欠である。 オンラインに集約された動的キャッシュによってバックアップされたログから収集された、キュレートされたオフラインのベットされたレスポンスの静的キャッシュ。 保守的なしきい値が安全な再利用機会を逃し、攻撃的なしきい値が意味的に不正確な応答を提供するリスクである。 我々は,サービス決定を変更することなく静的カバレッジを拡大する非同期LLM-judgedキャッシュポリシである‘textbf{Krites} を紹介した。 クリティカルパスでは、Kritesは標準の静的しきい値ポリシーのように振る舞う。 プロンプトの最も近い静的な隣人が静的なしきい値のすぐ下にあるとき、Krites は LLM の判断を非同期に呼び出して、新しいプロンプトに対して静的な応答が許容できるかどうかを検証する。 承認されたマッチは動的キャッシュに昇格し、将来的なリピートとパラフレーズによって、キュレートされた静的回答を再利用し、時間とともに静的リーチを拡張することができる。 対話型および検索型ワークロードのトレース駆動シミュレーションにおいて、Kritesは、キュレートされた静的回答(直接静的ヒットと証明されたプロモーション)で提供されるリクエストの分数を最大$\textbf{3.9}$倍に増やす。

関連論文リスト

• Generative Caching for Structurally Similar Prompts and Responses [15.50345473013337]
  大きな言語モデル(LLM)は、様々なシナリオでタスクを計画、推論、実行するためにますます使われています。 リピータブルやエージェントの設定のようなユースケースでは、プロンプトは小さなバリエーションで再利用されることが多い。 構造的に類似したプロンプトに対して変動認識応答を生成する生成キャッシュである ourmethod を導入する。
  論文  参考訳（メタデータ） (2025-11-14T00:22:00Z)
• LiveSearchBench: An Automatically Constructed Benchmark for Retrieval and Reasoning over Dynamic Knowledge [31.40589987269264]
  近年の知識更新から検索依存ベンチマークを構築するためのパイプラインであるLiveSearchBenchを紹介する。 提案手法は, 連続するウィキデータスナップショット間のデルタを計算し, 品質の3倍をフィルタし, 3段階の推論困難度で自然言語質問を合成する。 実験では、モデルが過去の事前トレーニングの事実に直面すると、パフォーマンスの低下が顕著になる。
  論文  参考訳（メタデータ） (2025-11-03T10:00:49Z)
• Semantic Caching for Low-Cost LLM Serving: From Offline Learning to Online Adaptation [54.61034867177997]
  キャッシング推論応答は、大きな言語モデルに他の前方を通さずに、それらを検索することができる。 従来の正確なキャッシュは、クエリ間のセマンティックな類似性を見落とし、不要な再計算をもたらす。 本稿では,未知のクエリおよびコスト分布下でのセマンティックキャッシュ消去のための,原則的,学習ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-11T06:53:27Z)
• Efficient and Optimal No-Regret Caching under Partial Observation [11.537072761243344]
  我々は、過去の要求のごく一部しか観測されない、より制限的な環境でキャッシュ問題を調査する。 本稿では,従来のオンライン学習アルゴリズムであるFollow-the-Perturbed-Leaderに基づいて,サブ線形後悔を伴うランダム化キャッシュポリシーを提案する。
  論文  参考訳（メタデータ） (2025-03-04T16:21:33Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。