Fugu-MT 論文翻訳(概要): Asynchronous Verified Semantic Caching for Tiered LLM Architectures

論文の概要: Asynchronous Verified Semantic Caching for Tiered LLM Architectures

arxiv url: http://arxiv.org/abs/2602.13165v1
Date: Fri, 13 Feb 2026 18:25:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-16 23:37:54.071583
Title: Asynchronous Verified Semantic Caching for Tiered LLM Architectures
Title（参考訳）: 階層型LLMアーキテクチャのための非同期検証セマンティックキャッシング
Authors: Asmit Kumar Singh, Haozhe Wang, Laxmi Naga Santosh Attaluri, Tak Chiam, Weihua Zhu,
Abstract要約: 大規模言語モデル(LLM)は、現在、検索、補助、エージェントの重要な経路にある。オンラインに集約された動的キャッシュによってバックアップされたログから収集された、キュレートされたオフラインのベットされたレスポンスの静的キャッシュ。 textbfKritesは非同期のLCM-judgedキャッシュポリシで、サービス決定を変更することなく静的カバレッジを拡張する。
参考スコア（独自算出の注目度）: 0.7204795910838664
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) now sit in the critical path of search, assistance, and agentic workflows, making semantic caching essential for reducing inference cost and latency. Production deployments typically use a tiered static-dynamic design: a static cache of curated, offline vetted responses mined from logs, backed by a dynamic cache populated online. In practice, both tiers are commonly governed by a single embedding similarity threshold, which induces a hard tradeoff: conservative thresholds miss safe reuse opportunities, while aggressive thresholds risk serving semantically incorrect responses. We introduce \textbf{Krites}, an asynchronous, LLM-judged caching policy that expands static coverage without changing serving decisions. On the critical path, Krites behaves exactly like a standard static threshold policy. When the nearest static neighbor of the prompt falls just below the static threshold, Krites asynchronously invokes an LLM judge to verify whether the static response is acceptable for the new prompt. Approved matches are promoted into the dynamic cache, allowing future repeats and paraphrases to reuse curated static answers and expanding static reach over time. In trace-driven simulations on conversational and search workloads, Krites increases the fraction of requests served with curated static answers (direct static hits plus verified promotions) by up to $\textbf{3.9}$ times for conversational traffic and search-style queries relative to tuned baselines, with unchanged critical path latency.
Abstract（参考訳）: 大規模言語モデル(LLM)は、検索、アシスト、エージェントワークフローのクリティカルパスに位置し、推論コストとレイテンシを低減するためにセマンティックキャッシングが不可欠である。オンラインに集約された動的キャッシュによってバックアップされたログから収集された、キュレートされたオフラインのベットされたレスポンスの静的キャッシュ。保守的なしきい値が安全な再利用機会を逃し、攻撃的なしきい値が意味的に不正確な応答を提供するリスクである。我々は,サービス決定を変更することなく静的カバレッジを拡大する非同期LLM-judgedキャッシュポリシである‘textbf{Krites} を紹介した。クリティカルパスでは、Kritesは標準の静的しきい値ポリシーのように振る舞う。プロンプトの最も近い静的な隣人が静的なしきい値のすぐ下にあるとき、Krites は LLM の判断を非同期に呼び出して、新しいプロンプトに対して静的な応答が許容できるかどうかを検証する。承認されたマッチは動的キャッシュに昇格し、将来的なリピートとパラフレーズによって、キュレートされた静的回答を再利用し、時間とともに静的リーチを拡張することができる。対話型および検索型ワークロードのトレース駆動シミュレーションにおいて、Kritesは、キュレートされた静的回答(直接静的ヒットと証明されたプロモーション)で提供されるリクエストの分数を最大$\textbf{3.9}$倍に増やす。

関連論文リスト

SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching [75.02865981328509]
キャッシュは、以前計算されたモデル出力をタイムステップで再利用することで計算を減らす。本稿では,動的キャッシュポリシーであるSensitivity-Aware Caching(SenCache)を提案する。 SenCacheは、同様の計算予算の下で、既存のキャッシュメソッドよりも視覚的品質が向上する。
論文参考訳（メタデータ） (2026-02-27T17:36:09Z)
Generative Caching for Structurally Similar Prompts and Responses [15.50345473013337]
大きな言語モデル(LLM)は、様々なシナリオでタスクを計画、推論、実行するためにますます使われています。リピータブルやエージェントの設定のようなユースケースでは、プロンプトは小さなバリエーションで再利用されることが多い。構造的に類似したプロンプトに対して変動認識応答を生成する生成キャッシュである ourmethod を導入する。
論文参考訳（メタデータ） (2025-11-14T00:22:00Z)
LiveSearchBench: An Automatically Constructed Benchmark for Retrieval and Reasoning over Dynamic Knowledge [31.40589987269264]
近年の知識更新から検索依存ベンチマークを構築するためのパイプラインであるLiveSearchBenchを紹介する。提案手法は, 連続するウィキデータスナップショット間のデルタを計算し, 品質の3倍をフィルタし, 3段階の推論困難度で自然言語質問を合成する。実験では、モデルが過去の事前トレーニングの事実に直面すると、パフォーマンスの低下が顕著になる。
論文参考訳（メタデータ） (2025-11-03T10:00:49Z)
Semantic Caching for Low-Cost LLM Serving: From Offline Learning to Online Adaptation [54.61034867177997]
キャッシング推論応答は、大きな言語モデルに他の前方を通さずに、それらを検索することができる。従来の正確なキャッシュは、クエリ間のセマンティックな類似性を見落とし、不要な再計算をもたらす。本稿では,未知のクエリおよびコスト分布下でのセマンティックキャッシュ消去のための,原則的,学習ベースのフレームワークを提案する。
論文参考訳（メタデータ） (2025-08-11T06:53:27Z)
Efficient and Optimal No-Regret Caching under Partial Observation [11.537072761243344]
我々は、過去の要求のごく一部しか観測されない、より制限的な環境でキャッシュ問題を調査する。本稿では,従来のオンライン学習アルゴリズムであるFollow-the-Perturbed-Leaderに基づいて,サブ線形後悔を伴うランダム化キャッシュポリシーを提案する。
論文参考訳（メタデータ） (2025-03-04T16:21:33Z)
vCache: Verified Semantic Prompt Caching [95.16654660556975]
本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
論文参考訳（メタデータ） (2025-02-06T04:16:20Z)
Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。命令符号化では,キャッシュの重要性を評価するために周波数を利用する。様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
論文参考訳（メタデータ） (2024-07-25T15:29:05Z)
ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文参考訳（メタデータ） (2023-10-19T06:37:32Z)
No-Regret Caching with Noisy Request Estimates [12.603423174002254]
要求推定値がノイズである場合,従来のFPLの変種であるNoisy-Follow-the-Perturbed-Leader (NFPL)アルゴリズムを提案する。提案手法は,要求推定器の特定の条件下でのサブ線形後悔を有することを示す。
論文参考訳（メタデータ） (2023-09-05T08:57:35Z)
Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching [72.50506500576746]
我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
論文参考訳（メタデータ） (2021-12-13T13:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。