論文の概要: Governing the KV Cache: Preventing Timing Side-Channel Leakage in Multi-Tenant LLM Inference

• arxiv url: http://arxiv.org/abs/2608.09225v1
• Date: Mon, 10 Aug 2026 07:47:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.13158
• Title: Governing the KV Cache: Preventing Timing Side-Channel Leakage in Multi-Tenant LLM Inference
• Title（参考訳）: KVキャッシュのオーバシング:マルチテナントLDM推論におけるサイドチャネルリーク防止
• Abstract要約: キーバリュー(KV)キャッシュは、現代の大言語モデル(LLM)推論における主要なスループット最適化である。 3つの攻撃がそれを悪用し、保護されていないvLLMとSGに対する攻撃の成功率が最大100%に達する。 我々は3つの攻撃ファミリーのプレフィックスキャッシュパスに対処するガバナンス層であるKVGovを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The key-value (KV) cache is the primary throughput optimization in modern large language model (LLM) inference, enabling prefix reuse across requests. In multi-tenant deployments this cache is shared across tenants, creating a timing side channel: an adversarial tenant can reconstruct another tenant's private prompt by probing cache-hit latency. Three published attacks exploit it -- PROMPTPEEK, EarlyBird and InputSnatch -- reaching up to 100% attack success rate against unprotected vLLM and SGLang, with rates varying by cache architecture and prompt structure. We present KVGov, a governance layer addressing all three attack families' prefix-cache paths under one mechanism. A per-principal salt sigma_p = HMAC_K(secret, principal_id) seeds the block-hash chain, making cache keys cryptographically disjoint across principals. An ablation (N=1000 trials, seed 2026, deterministic judges) isolates this salt as the necessary and sufficient component. KVGov adds ORIGAMI, a Stackelberg water-filling audit scheduler that reduces adversary expected utility by 12.6% at realistic tenant heterogeneity (Gini 0.63), and an evolutionary stability analysis giving a 31.6% adversary-prevalence tipping point below which global caching remains stable. On real hardware (Qwen2.5-7B-Instruct, vLLM 0.26.0, NVIDIA A100) we measure a gate-verified cold/cached TTFT ratio of 0.22, confirming the channel is exploitable at production scale; the defense itself is evaluated in simulation calibrated to those measurements. We replicate the channel on an independent stack (llama.cpp on Apple Metal, ratio 0.093). Finally, isolation and cache efficiency need not conflict: identifying information resides only where prompts diverge, so injecting the salt at that boundary rather than the chain root retains an estimated 93% of the prefix-cache benefit with no cross-principal signal.
• Abstract（参考訳）: キー値(KV)キャッシュは、最新の大規模言語モデル(LLM)推論における主要なスループット最適化であり、リクエスト間のプレフィックス再利用を可能にする。 マルチテナントデプロイメントでは、このキャッシュはテナント間で共有され、タイミング側チャネルを生成する。 PROMPTPEEK、EarlyBird、InputSnatchの3つの攻撃によって、保護されていないvLLMとSGLangに対する攻撃成功率が最大100%に達する。 KVGovは3つの攻撃ファミリーのプレフィックスキャッシュパスに1つのメカニズムで対処するガバナンス層である。 プリミティブごとのソルトシグマ_p = HMAC_K(シークレット、プリンシパル_id) はブロックハッシュチェーンをシードし、プリミティブ間でキャッシュキーが暗号化的に分離される。 アブレーション(N=1000臨床試験、シード2026、決定論的判断)は、この塩を必要かつ十分な成分として分離する。 KVGovは、現実的なテナント不均一性(Gini 0.63)において、敵の期待するユーティリティを12.6%削減するStackelbergの給水監査スケジューラであるORIGAMIと、グローバルキャッシュが安定している31.6%の逆の傾向を示す進化安定性解析を追加した。 実ハードウェア(Qwen2.5-7B-Instruct, vLLM 0.26.0, NVIDIA A100)では、ゲートが認証されたコールド/キャッシュドTTFT比が0.22であり、チャネルがプロダクションスケールで悪用可能であることを確認し、ディフェンス自体をそれらの測定値に調整したシミュレーションで評価する。 チャンネルを独立したスタック上に複製する(Apple Metalのllama.cpp、比0.093)。 情報を特定することはプロンプトが分岐する所のみに存在するので、鎖根よりも塩を注入することは、分岐信号のないプレフィックス・キャッシュの利点の93%を保持する。

関連論文リスト

• KeyPooling: Measuring Where LLM API Relay Paths Collapse Prompt Cache Isolation [53.952294884822955]
  大規模言語モデル(LLM)APIは、顧客の認証を別々に行うが、多くの場合、共有プロバイダ認証を通じて要求を転送する。 KeyPoolingは、キャッシュのルックアップと書き込みを通じて顧客のアイデンティティをトレースする測定方法である。 すべての顧客がプロバイダ強化されたドメインに入る必要があります。
  論文  参考訳（メタデータ） (2026-08-18T08:12:34Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Agent-Assisted Side-Channel Attacks on Non-Prefix KV Cache in RAG [17.045113249152234]
  非KVキャッシュ融合をターゲットとした、最初のエンドツーエンドのサイドチャネルアタックを導入する。 SpliceLeakは、システマティックな2フェーズのプライバシ侵害を実行する。 SpliceDefenseは、非許容スループットオーバーヘッドでサイドチャネル信号(Delta TTFT 0)を効果的にフラットにする。
  論文  参考訳（メタデータ） (2026-06-20T02:28:28Z)
• RKSC: Reasoning-Aware KV Cache Sharing and Confident Early Exit for Multi-Step LLM Inference [0.0]
  トレーニングフリー推論フレームワークであるRKSC(Reasoning-Aware KV Cache Sharing)を紹介する。 マルチブランチLPM推論パイプラインにおける2つの構造的冗長性を取り除く。 RKSCは、No-KVベースライン上での平均速度を3.008倍に向上させる。
  論文  参考訳（メタデータ） (2026-06-07T21:36:20Z)
• Grounded Cache Routing for Retrieval-Augmented Generation: When Is It Safe to Reuse an Answer? [0.0]
  我々は、4つの安価なゲートが同時に保持されている場合にのみキャッシュされた応答を許容するエビデンス検証キャッシュルータであるGroundedCacheを提案する。 我々は、ヒットレートだけでなく、キャッシュ安全性をストレステストする6段階のワークロードを構築し、オペレーター向けメトリックであるunsafe-served rate (USR)を導入する。 2つのデータセットと12,000の実LLM世代(Qwen2.5-7B-Instruct on vLLM with Automatic Prefix Caching)、GroundedCacheはUSRをすべてのHotpotQAシステムで0.0%、mtRAGドキュメントドリフトで1.5%まで駆動する。
  論文  参考訳（メタデータ） (2026-05-26T16:50:02Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• CacheClip: Accelerating RAG with Effective KV Cache Reuse [8.016679032026824]
  CacheClipは、高速TTFTとハイジェネレーション品質の両方を実現する新しいフレームワークである。 本手法は,(1)選択的KVキャッシュ再計算のための補助モデル誘導トークン選択,(2)冗長な注意シンクを排除するための共有プレフィックス,(3)局所コヒーレンスを維持するためのグループ化戦略の3つの手法を統合する。
  論文  参考訳（メタデータ） (2025-10-11T09:28:26Z)
• Selective KV-Cache Sharing to Mitigate Timing Side-Channels in LLM Inference [6.864810630905683]
  ユーザ単位のアイソレーションなどの既存の防御は、リークをなくすが、TTFT(Time-to-first-token)で最大38.9%性能を低下させる。 プライバシーに配慮したKV-cache管理フレームワークであるSafeKVを紹介した。 評価の結果,SafeKVは時間ベースのサイドチャネル攻撃の94%～97%を軽減していることがわかった。
  論文  参考訳（メタデータ） (2025-08-11T19:55:44Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。