論文の概要: Not All Tokens Are Worth Caching: Learning Semantic-Aware Eviction for LLM Prefix Caches

• arxiv url: http://arxiv.org/abs/2605.18825v1
• Date: Tue, 12 May 2026 18:38:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 21:37:32.362809
• Title: Not All Tokens Are Worth Caching: Learning Semantic-Aware Eviction for LLM Prefix Caches
• Title（参考訳）: LLMプリフィックスキャッシュのセマンティック・アウェア・エミッションを学習する
• Authors: Shaoke Fang, Ziang Li, Wenfei Wu, Jiatong Ji, Qingsong Liu, Ruizhi Pu,
• Abstract要約: プリフィックスキャッシュは、Large Language Model(LLM)サービスにおける重要な最適化である。 しかし、GPUメモリが不足しているため、その利点は退行ポリシーに大きく依存する。 システムプロンプト,ユーザクエリ,ツールアウトプット,モデル応答,チェーンオブ思考推論など,プロンプト内のさまざまなトークンタイプが,再利用率の最大756倍の変動を示すことを示す。 セマンティック・アダプティブなプレフィックスキャッシュ消去ポリシーであるSAECacheを提案する。
• 参考スコア（独自算出の注目度）: 15.961259469095571
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prefix caching is a key optimization in Large Language Model (LLM) serving, reusing attention Key-Value (KV) states across requests with shared prompt prefixes to reduce expensive prefill computation. However, its benefit depends critically on the eviction policy as GPU memory is scarce, and existing policies such as LRU largely treat cached blocks uniformly. This view ignores a fundamental property of LLM prompts: not all tokens are equally worth caching. We show that different token types within a prompt, including system prompts, user queries, tool outputs, model responses, and chain-of-thought reasoning, exhibit up to 756x variation in reuse rates, yet no existing eviction policy exploits this signal. In this paper, we present SAECache (Semantic-Adaptive Eviction for prefix caches), a semantic-adaptive prefix cache eviction policy that addresses this gap through three innovations: (1) a multi-queue architecture that routes KV blocks to task-specific queues with tailored priority metrics, capturing both session reuse in multi-turn requests and structural reuse in templated single-turn requests; (2) a semantic-aware token weighting mechanism that learns the reuse value of different token types online through eviction feedback; and (3) a fully adaptive online learning schema for all parameter updates, including log-normal timing parameters, position decay power, queue weights, and meta-parameters, which eliminates manual tuning and enables automatic adaptation to deployment-specific workload characteristics. Through extensive evaluation across heterogeneous workloads, we demonstrate that SAECache achieves 1.4x-2.7x TTFT improvement over production-style baselines, while fixed-parameter alternatives can degrade by up to 2.7x under workload mismatch -- a failure mode our adaptive approach avoids entirely.
• Abstract（参考訳）: プリフィックスキャッシュはLarge Language Model(LLM)における重要な最適化であり、キーバリュー(KV)ステートを共有プロンプトプレフィックスで処理することで、高価なプリフィル計算を削減している。 しかし、GPUメモリが不足しているため、その利点は退行ポリシーに大きく依存する。 すべてのトークンがキャッシングに値するわけではない。 システムプロンプト,ユーザクエリ,ツールアウトプット,モデル応答,チェーン・オブ・シークレット推論など,プロンプト内のさまざまなトークンタイプが,再利用率の最大756倍の変動を示すことを示す。 本稿では,SAECache(Semantic-Adaptive Eviction for prefix caches)というセマンティック・アダプティブ・プレフィックス・キャッシュ・エビテーション・ポリシーを,(1)KVブロックをタスク固有のキューにルーティングするマルチキューアーキテクチャ,(2)マルチターン要求におけるセッションの再利用とテンプレート化された単一ターン要求による構造的再利用,(3)オンラインのさまざまなトークンタイプの再利用価値を,消去フィードバックを通じて学習するセマンティック・アウェア・トークン重み付け機構,(3)ログ正規タイミングパラメータ,位置減衰パワー,キューウェイト,メタパラメータなどを含む,パラメータ更新の完全適応型オンライン学習スキーマを提案する。 不均質なワークロードに対する広範な評価を通じて、SAECacheがプロダクションスタイルのベースラインよりも1.4x-2.7x TTFTの改善を実現しているのに対し、固定パラメータの代替手段はワークロードミスマッチの下で最大2.7倍の低下が可能であることを実証しています。これは、適応的なアプローチが完全に避けている障害モードです。

関連論文リスト

• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• Sparse Prefix Caching for Hybrid and Recurrent LLM Serving [0.7284556903703034]
  重なり合う深さの分布の下で,スパースプレフィックスキャッシングをチェックポイント配置として定式化する。 リクエストが非自明なプレフィックスを共有する場合、実世界のデータ上で標準非対称性によって追跡されるフロンティアを一貫して改善することを示す。 正確な出力を保持し、リカレント計算自体を変更したり、新しいリカレント更新カーネルを必要としたりしない。
  論文  参考訳（メタデータ） (2026-04-17T09:24:58Z)
• Semantic Caching for Low-Cost LLM Serving: From Offline Learning to Online Adaptation [54.61034867177997]
  キャッシング推論応答は、大きな言語モデルに他の前方を通さずに、それらを検索することができる。 従来の正確なキャッシュは、クエリ間のセマンティックな類似性を見落とし、不要な再計算をもたらす。 本稿では,未知のクエリおよびコスト分布下でのセマンティックキャッシュ消去のための,原則的,学習ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-11T06:53:27Z)
• EPIC: Efficient Position-Independent Caching for Serving Large Language Models [19.510078997414606]
  キャッシングは、リクエスト間でキーバリューベクトルを再利用することで、パフォーマンスを向上させる。 既存のコンテキストキャッシュでは、リクエストにまたがる正確なプレフィックスが必要である。 位置独立キャッシング (PIC) を導入し, プレフィックスによらず KV ベクトルのモジュラー再利用を可能にする。 また、新しいLegoLinkアルゴリズムを取り入れたサービスシステムEPICも導入しています。
  論文  参考訳（メタデータ） (2024-10-20T08:42:29Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。