論文の概要: Grounded Cache Routing for Retrieval-Augmented Generation: When Is It Safe to Reuse an Answer?

• arxiv url: http://arxiv.org/abs/2605.27494v1
• Date: Tue, 26 May 2026 16:50:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.377498
• Title: Grounded Cache Routing for Retrieval-Augmented Generation: When Is It Safe to Reuse an Answer?
• Title（参考訳）: 検索拡張ジェネレーションのためのグラウンドドキャッシュルーティング: アンサーの再利用はいつ安全か?
• Authors: Syed Huma Shah,
• Abstract要約: 我々は、4つの安価なゲートが同時に保持されている場合にのみキャッシュされた応答を許容するエビデンス検証キャッシュルータであるGroundedCacheを提案する。 我々は、ヒットレートだけでなく、キャッシュ安全性をストレステストする6段階のワークロードを構築し、オペレーター向けメトリックであるunsafe-served rate (USR)を導入する。 2つのデータセットと12,000の実LLM世代(Qwen2.5-7B-Instruct on vLLM with Automatic Prefix Caching)、GroundedCacheはUSRをすべてのHotpotQAシステムで0.0%、mtRAGドキュメントドリフトで1.5%まで駆動する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern retrieval-augmented generation(RAG) deployments increasingly rely on caching to reduce token cost and time-to-first-token(TTFT). Prefix-level KV reuse is now standard in serving stacks such as vLLM, and chunk-level and position-independent reuse have been pushed further by recent systems(RAGCache, TurboRAG, CacheBlend, EPIC, ContextPilot, PCR, LMCache). Output-level semantic answer caches, by contrast, remain fragile: similar prompts can map to different correct answers, retrieved evidence drifts as the corpus is updated, and adversarial collision attacks have been shown to hijack cached responses. We argue that the right framing for cached answer reuse is not how to reuse faster but when reuse is safe. We propose GroundedCache, an evidence-validated cache router that admits a cached answer only when 4 cheap gates simultaneously hold: query similarity, retrieved-evidence overlap, source-version validity, and lexical (or judge-based) support of the cached answer by the freshly retrieved evidence. We build a six-regime workload that stress-tests cache safety rather than only hit rate, and introduce an operator-facing metric, the unsafe-served rate (USR), fraction of all queries that received a wrong cached answer. Across 2 datasets and 12,000 real-LLM generations(Qwen2.5-7B-Instruct on vLLM with Automatic Prefix Caching), GroundedCache drives USR to 0.0% on every HotpotQA regime(vs. 15-35% under naive caching) and to 1.5% on mtRAG document drift(vs. 51.5%), a 34x reduction on the design-point adversarial regime and 3-10x reductions across the other mtRAG regimes, while end-to-end p50 latency stays within 1.04-1.07x of a no-cache RAG baseline. A per-gate ablation isolates the lexical support gate as the load-bearing safety mechanism on both datasets, with the remaining gates providing defense-in-depth at near-zero cost. We release the implementation, workload, and evaluation harness.
• Abstract（参考訳）: 現代的な検索拡張生成(RAG)デプロイメントは、トークンコストとTTFT(Time-to-first-token)を削減すべく、キャッシュに依存している。 プリフィックスレベルのKV再利用は、vLLMのようなサービススタックでは標準となり、最近のシステム(RAGCache、TurboRAG、CacheBlend、EPIC、ContextPilot、PCR、LMCache)では、チャンクレベルと位置非依存の再利用がさらに進んでいる。 対照的に、アウトプットレベルのセマンティック・レスポンス・キャッシュは脆弱であり、類似のプロンプトは異なる正しい回答にマッピングでき、コーパスが更新されたときに証拠が漂着し、敵の衝突攻撃がキャッシュされた応答をハイジャックする。 キャッシュされた回答再利用の適切なフレーミングは、より高速に再利用する方法ではなく、再利用が安全な場合である、と我々は主張する。 我々は,4つの安価なゲートが同時に保持されている場合にのみキャッシュされた応答を許容するエビデンス検証キャッシュルータであるGundedCacheを提案し,クエリ類似性,検索されたエビデンス重複,ソース変換妥当性,および新たに検索されたエビデンスによるキャッシュされた応答の語彙(あるいは判断に基づく)サポートを提案する。 我々は、ヒットレートだけでなく、キャッシュ安全性をストレステストする6段階のワークロードを構築し、演算子対応のメトリックであるアンセーフサーブレート(USR)を導入します。 2つのデータセットと12,000個の実LLM世代(Qwen2.5-7B-Instruct on vLLM with Automatic Prefix Caching), GroundedCache Drive USR to 0.0% on every HotpotQA regime (vs. 15-35% under naive cache) and to 1.5% on mtRAG document drift (vs. 51.5%), a 34x reduction on the design-point adversarial regime and 3-10x reduction on the other mtRAG regimes, while end-to-end p50 latencys are within 1.04-1.07x of a no-cache RAG baseline。 ゲートごとのアブレーションにより、レキシカル支持ゲートは両方のデータセットのロードベアリング安全機構として分離され、残りのゲートは、ほぼゼロのコストでディフェンスを提供する。 実装、ワークロード、評価ハーネスをリリースします。

関連論文リスト

• Sparse Prefix Caching for Hybrid and Recurrent LLM Serving [0.7284556903703034]
  重なり合う深さの分布の下で,スパースプレフィックスキャッシングをチェックポイント配置として定式化する。 リクエストが非自明なプレフィックスを共有する場合、実世界のデータ上で標準非対称性によって追跡されるフロンティアを一貫して改善することを示す。 正確な出力を保持し、リカレント計算自体を変更したり、新しいリカレント更新カーネルを必要としたりしない。
  論文  参考訳（メタデータ） (2026-04-17T09:24:58Z)
• dKV-Cache: The Cache for Diffusion Language Models [53.85291644298835]
  Diffusion Language Models (DLMs) は自己回帰型言語モデルにとって有望な競合と見なされている。 本稿では,DLMの復調過程に対するKVキャッシュ機構,遅延KVキャッシュを提案する。 我々のアプローチは、異なるトークンが拡散過程を通して異なる表現力学を持つという観察によって動機付けられている。
  論文  参考訳（メタデータ） (2025-05-21T17:32:10Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• BackCache: Mitigating Contention-Based Cache Timing Attacks by Hiding Cache Line Evictions [7.46215723037597]
  L1データキャッシュ攻撃は、重大なプライバシーと機密性の脅威を引き起こす。 BackCacheは常にキャッシュミスではなくキャッシュヒットを達成し、L1データキャッシュに対する競合ベースのキャッシュタイミング攻撃を軽減します。 BackCacheは、解放されたキャッシュラインをL1データキャッシュから完全に連想的なバックアップキャッシュに配置して、排除を隠蔽する。
  論文  参考訳（メタデータ） (2023-04-20T12:47:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。