論文の概要: WAKMan: Workload Aware KVCache Manager

• arxiv url: http://arxiv.org/abs/2610.36355v1
• Date: Mon, 26 Oct 2026 22:19:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.442417
• Title: WAKMan: Workload Aware KVCache Manager
• Title（参考訳）: WAKMan: ワークロード対応のKVCache Manager
• Abstract要約: WAKManはワークロード対応のKVキャッシュマネージャで、要求タイプや読み取りプロンプトを知らずに、ライブトラフィックから排除ポリシーを選択する。 LRUよりも平均で5ポイントのヒット率を向上し、すべての政策において最も低い平均と最悪の最適性ギャップを持つ。
• 参考スコア（独自算出の注目度）: 0.4666493857924358
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prefix caching enables a Large Language Model (LLM) servers to reuse the Key-Value (KV) states and accelerate prefill computation stage for requests that share a prefix with earlier prompts, thus reducing latency and serving cost. With limited memory resource, the KV cache eviction policy becomes a decisive factor in determining the overall benefits of prefix caching. Production traffic may have single-turn, multi-turn, agentic, or a mixture of any combination of these request types. Our findings indicate that agentic steps return within seconds and favor recency, while popular prompts and long conversations return after many other requests and favor frequency. Across 20 mixes, no single policy is always best: vLLM's default strategy LRU provides 12% higher cache hits as compared to the frequency-oriented S3FIFO on agentic-heavy mixes but trails it by up to 22% elsewhere, and even a single workload parameter can flip the winner even for any particular mix. We present WAKMan, a workload-aware KV cache manager that picks its eviction policy from live traffic without knowing request types or reading prompts. It improves hit rate over LRU by 5 percentage points on average, with the lowest mean and worst-case optimality gap of all policies.
• Abstract（参考訳）: プリフィックスキャッシュにより、LLM(Large Language Model)サーバは、キーバリュー(KV)状態を再利用し、プレフィックスを以前のプロンプトと共有するリクエストに対するプリフィル計算ステージを高速化し、レイテンシとサービスコストを削減できる。 メモリリソースの制限により、KVキャッシュ消去ポリシーはプレフィックスキャッシュの全体的なメリットを決定する決定的な要素となる。 プロダクショントラフィックには、シングルターン、マルチターン、エージェント、あるいはこれらの要求タイプの組み合わせが混在している場合もあります。 以上の結果から,エージェントステップは数秒以内で回復し,寛解が好まれる一方で,他の多くの要求が得られ,周波数が好まれることが示唆された。 vLLMのデフォルト戦略であるLRUは、エージェントと重みの混合において周波数指向のS3FIFOよりも12%高いキャッシュヒットを提供するが、他の場所では最大22%追従する。 我々は、要求タイプや読み取りプロンプトを知らずに、ライブトラフィックから退避ポリシーを選択する、ワークロード対応のKVキャッシュマネージャであるWAKManを紹介する。 LRUよりも平均で5ポイントのヒット率を向上し、すべての政策において最も低い平均と最悪の最適性ギャップを持つ。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Recency/Frequency Adaptive KV Caching for Large Language Model Serving [7.261125311665803]
  キーバリューキャッシング(KV)は,大規模言語モデルの推論と生成を高速化する強力な手法である。 推論ワークロードは巨大で多様であり、効果的にキャッシュするのが困難である。 我々は,最近発生したKVブロック間で動的にキャッシュ空間を割り当てる適応キャッシュを統合する。
  論文  参考訳（メタデータ） (2026-06-19T09:05:01Z)
• ZoomR: Memory Efficient Reasoning through Multi-Granularity Key Value Retrieval [58.575695990976136]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて優れたパフォーマンスを示している。 LLMは、最終的な答えに到達する前に、長い中間的思考を生成する必要があることが多い。 我々は,LLMが動詞の推論思考を要約に適応的に圧縮することを可能にする新しいアプローチであるZoomRを紹介する。
  論文  参考訳（メタデータ） (2026-04-13T02:00:35Z)
• KVCache Cache in the Wild: Characterizing and Optimizing KVCache Cache at a Large Cloud Provider [15.532112534717262]
  大規模言語モデル(LLM)の実現はクラウドプロバイダにとって重要であり、各要求処理後の中間結果(KV$)をキャッシュすることで、スループットとレイテンシが大幅に向上する。 我々は、主要なLLMサービスプロバイダの1つから、KV$ワークロードパターンを初めて体系的に評価した。 本稿では,特にキャッシュ容量の制限により,実世界のトレース下でのサービス性能を向上させる,ワークロード対応のキャッシュ消去ポリシーを提案する。
  論文  参考訳（メタデータ） (2025-06-03T08:51:38Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。