論文の概要: CachePrune: Privacy-Aware and Fine-Grained KV Cache Sharing for Efficient LLM Inference

• arxiv url: http://arxiv.org/abs/2605.23640v1
• Date: Fri, 22 May 2026 13:54:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.374987
• Title: CachePrune: Privacy-Aware and Fine-Grained KV Cache Sharing for Efficient LLM Inference
• Title（参考訳）: CachePrune: 効率的なLCM推論のためのプライバシ意識ときめ細かいKVキャッシュ共有
• Abstract要約: CachePruneは、プライバシを意識したKVキャッシュ共有機構で、リクエスト間のKVエントリのきめ細かい再利用を可能にする。 KVキャッシュ再利用サイドチャネルによる直接リークを排除し,TTFTを4.5倍削減し,キャッシュヒット率を44%向上させることを示す。
• 参考スコア（独自算出の注目度）: 21.373440644465607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) rely on Key-Value (KV) caching to accelerate inference, and many serving systems further share the KV cache across users' requests to reduce redundant computation. While widely adopted, unrestricted cross-user sharing introduces side-channel vulnerabilities, allowing an adversary to infer user inputs by probing for cache reuse. Existing defenses disable sharing entirely to prevent leakage; yet such a coarse-grained strategy sacrifices substantial reuse potential, since prompts often include large portions of privacy-irrelevant segments, such as system instructions or publicly accessible materials. Building on this, we present CachePrune, a privacy-aware KV cache sharing mechanism that enables fine-grained reuse of KV entries across requests. Realizing such fine granularity requires token-level cache management, as reusable segments vary in length and position due to sensitivity masking, making reuse more complex than the fixed-size or sentence-level chunking used in existing coarse-grained schemes. Specifically, CachePrune makes fine-grained reuse practical by addressing two key challenges: accurately and efficiently deriving reusable KV segments and efficiently retrieving them over variable-length spans. We implement CachePrune on top of vLLM and evaluate it on three datasets, showing that it eliminates direct leakage through KV cache reuse side channels while reducing TTFT by 4.5x and increasing cache hit rates by 44% compared with state-of-the-art approaches.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、推論を高速化するためにキーバリュー(KV)キャッシュに依存しており、多くのサービスシステムは、冗長な計算を減らすために、ユーザの要求間でKVキャッシュを共有する。 広く採用されているが、制限なしのクロスユーザー共有は、サイドチャネルの脆弱性を導入し、相手がキャッシュ再利用を調査することで、ユーザの入力を推測することを可能にする。 既存の防衛は、漏洩を防ぐために共有を完全に無効にしているが、そのような粗い戦略は、システム命令や一般にアクセス可能な資料など、プライバシーに関係のない部分の大部分を含むことが多いため、かなりの再利用可能性の犠牲になる。 これは、プライバシを意識したKVキャッシュ共有機構で、リクエスト間のKVエントリのきめ細かい再利用を可能にする。 このような細かい粒度を実現するにはトークンレベルのキャッシュ管理が必要であり、再利用可能なセグメントは感度マスキングによって長さと位置が異なるため、既存の粗粒化スキームで使用される固定サイズや文レベルのチャンキングよりも再利用が複雑になる。 具体的には、CachePruneは、再利用可能なKVセグメントを正確かつ効率的に導き出し、可変長スパン上でそれらを効率的に取り出すという、2つの重要な課題に対処することで、きめ細かい再利用を実践する。 我々は、vLLM上にCachePruneを実装し、3つのデータセットで評価し、KVキャッシュ再利用サイドチャネルによる直接リークを排除し、TTFTを4.5倍削減し、最先端のアプローチと比較してキャッシュヒット率を44%向上させることを示した。

関連論文リスト

• VisCache: Visual KV Cache Pruning for Efficient Vision Large Language Model Inference [17.932004205808486]
  VisCacheは、トレーニングなしで大きめのtextbfVisual KV textbfCacheプルーニングを行うためのフレームワークである。 PruneKVは、Vision Large Language Modelsの注意力学に合わせて設計された、外科的KV圧縮アルゴリズムである。 VisCacheは、既存のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-25T04:52:05Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Recency/Frequency Adaptive KV Caching for Large Language Model Serving [7.261125311665803]
  キーバリューキャッシング(KV)は,大規模言語モデルの推論と生成を高速化する強力な手法である。 推論ワークロードは巨大で多様であり、効果的にキャッシュするのが困難である。 我々は,最近発生したKVブロック間で動的にキャッシュ空間を割り当てる適応キャッシュを統合する。
  論文  参考訳（メタデータ） (2026-06-19T09:05:01Z)
• MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering [75.0394545769057]
  KVキャッシュは、LLMプリフィルを介して歴史的なトークンのキーバリューを格納する。 MuKV は KV キャッシュ圧縮モジュールと半階層的検索手法を特徴とする手法である。 長時間ストリーミングのVideoQAベンチマークの実験では、MKVはメモリとオンラインQA効率を犠牲にすることなく、回答の正確性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-05-21T10:13:03Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• KARA: Efficient Reasoning LLM Serving via Sliding-Window KV Cache Compression [3.9838043625801967]
  推論言語モデルは長いチェーン・オブ・ソート(CoT)を生成する CoTはデコードフェーズ中に大量のKVキャッシュを蓄積する。 KVキャッシュ圧縮はメモリオーバーヘッドを減らすための有望な手法として登場した。
  論文  参考訳（メタデータ） (2026-05-01T15:54:13Z)
• SemShareKV: Efficient KVCache Sharing for Semantically Similar Prompts via Token-Level LSH Matching [0.8307668828380427]
  大規模言語モデル(LLM)のためのKVキャッシュ共有圧縮フレームワークである textitSemShareKV を提案する。 正確なトークンマッチに頼る代わりに、SemShareKVは、トークン埋め込みにローカリティ感受性ハッシュ(LSH)を使用してファジィトークンマッチングを適用し、位置情報をよりよく保存するためにロータリー位置埋め込み(Rotary Position Embedding、RoPE)を組み込んでいる。 多様な要約データセットの実験では、最大6.25$times$スピードアップと42%低いGPUメモリ使用率で5kトークンが入力され、品質劣化は無視できる。
  論文  参考訳（メタデータ） (2025-09-29T14:16:13Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• CacheBlend: Fast Large Language Model Serving for RAG with Cached Knowledge Fusion [15.344568214955688]
  大規模な言語モデル(LLM)は、必要なコンテキストを提供するために、入力に複数のテキストチャンクを組み込むことが多い。 長いLLM入力のプリフィルを高速化するため、別のLLM入力のプレフィックスとしてコンテキストが再利用された場合、テキストのKVキャッシュをプリコンプリートし、KVキャッシュを再使用することができる。 本稿では,KVキャッシュを高速に組み合わせて,高価なプリフィルと同世代の品質を実現する方法を提案する。
  論文  参考訳（メタデータ） (2024-05-26T06:00:17Z)
• Cost-Efficient Large Language Model Serving for Multi-turn Conversations with CachedAttention [13.041210267981613]
  CachedAttentionは、マルチターン会話間でKVキャッシュの再利用を可能にする新しいアテンションメカニズムである。 これは、最初のトークン(TTFT)までの時間を最大87%削減し、マルチターン会話のスループットを最大7.8$times$に改善し、エンドツーエンドの推論コストを最大70%削減する。
  論文  参考訳（メタデータ） (2024-03-23T10:42:49Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。