論文の概要: Recency/Frequency Adaptive KV Caching for Large Language Model Serving

• arxiv url: http://arxiv.org/abs/2606.21238v1
• Date: Fri, 19 Jun 2026 09:05:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 07:10:02.059943
• Title: Recency/Frequency Adaptive KV Caching for Large Language Model Serving
• Title（参考訳）: 大規模言語モデル実行のための周波数/周波数適応KVキャッシング
• Authors: Yang Shen, Meghana Madhyastha, Robert Underwood, Bogdan Nicolae, Randal Burns,
• Abstract要約: キーバリューキャッシング(KV)は,大規模言語モデルの推論と生成を高速化する強力な手法である。 推論ワークロードは巨大で多様であり、効果的にキャッシュするのが困難である。 我々は,最近発生したKVブロック間で動的にキャッシュ空間を割り当てる適応キャッシュを統合する。
• 参考スコア（独自算出の注目度）: 7.261125311665803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Key-value (KV) caching is a powerful technique for accelerating large language model inference and generation. Inference workloads are large and diverse, which makes them difficult to cache effectively. Existing cache management strategies adopt the least-recently-used policy for evicting cache blocks. However, LRU leads to multiple unrelated workloads flushing each other's caches. To address this, we integrate adaptive caching that dynamically allocates cache space between recently and frequently occurring KV blocks. Evaluations show that it improves the KV cache hit rate by up to 10.8% and reduces time to first token by up to 12.6% over naive vLLM on synthetic document question answering workloads, and 2.1% and 2.0% respectively on real-world conversation workloads. The method generalizes well to batch inference and demonstrates clear interpretability while effectively accommodating diverse workloads.
• Abstract（参考訳）: キーバリューキャッシング(KV)は,大規模言語モデルの推論と生成を高速化する強力な手法である。 推論ワークロードは巨大で多様であり、効果的にキャッシュするのが困難である。 既存のキャッシュ管理戦略は、キャッシュブロックを排除するための、最近は使われていないポリシーを採用しています。 しかしながら、LRUは複数の無関係なワークロードを相互のキャッシュにフラッシュする。 そこで我々は,最近発生したKVブロック間で動的にキャッシュ空間を割り当てるアダプティブキャッシュを統合する。 評価によると、KVキャッシュのヒット率を最大10.8%改善し、合成文書質問応答ワークロードのvLLMよりも12.6%、現実世界の会話ワークロードの2.1%と2.0%でファーストトークンの時間を最大12.6%削減している。 この手法はバッチ推論をうまく一般化し、多様なワークロードを効果的に収容しながら、明確な解釈可能性を示す。

関連論文リスト

• Multi-Segment Attention: Enabling Efficient KV-Cache Management for Faster Large Language Model Serving [18.829614918483255]
  AsymCacheは、LLM(Large Language Model)推論のための計算対応のKVキャッシュ管理システムである。 AsymCacheはTTFTを最大1.90-2.03x、TPOT(time-per-latency-token)を1.62-1.71xまで下げることを示した。
  論文  参考訳（メタデータ） (2026-06-01T23:51:37Z)
• CachePrune: Privacy-Aware and Fine-Grained KV Cache Sharing for Efficient LLM Inference [21.373440644465607]
  CachePruneは、プライバシを意識したKVキャッシュ共有機構で、リクエスト間のKVエントリのきめ細かい再利用を可能にする。 KVキャッシュ再利用サイドチャネルによる直接リークを排除し,TTFTを4.5倍削減し,キャッシュヒット率を44%向上させることを示す。
  論文  参考訳（メタデータ） (2026-05-22T13:54:21Z)
• Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing [29.913403615975174]
  高いスループットでトランスフォーマー言語モデルを実行するには、冗長な計算を避けるためにキーバリュー(KV)をキャッシュする必要がある。 KVキャッシュのメモリフットプリントは著しく、サービスコストに大きな影響を与えます。 本稿では,ランダムな層間注意(ランダムな層間注意,ランダムな層間注意,ランダムな層間注意)を提案する。
  論文  参考訳（メタデータ） (2026-04-03T14:56:17Z)
• dKV-Cache: The Cache for Diffusion Language Models [53.85291644298835]
  Diffusion Language Models (DLMs) は自己回帰型言語モデルにとって有望な競合と見なされている。 本稿では,DLMの復調過程に対するKVキャッシュ機構,遅延KVキャッシュを提案する。 我々のアプローチは、異なるトークンが拡散過程を通して異なる表現力学を持つという観察によって動機付けられている。
  論文  参考訳（メタデータ） (2025-05-21T17:32:10Z)
• CAKE: Cascading and Adaptive KV Cache Eviction with Layer Preferences [36.05521425453999]
  大きな言語モデル(LLM)は長いシーケンスの処理に優れ、キーバリュー(KV)キャッシングの需要が増大する。 我々は、KVキャッシュ消去を「ケーキスライシング問題」とみなす新しいアプローチであるCascading and Adaptive KV cache Eviction (CAKE)を導入する。 CAKEは、空間次元と時間次元の両方の注意ダイナミクスを考慮して層固有の好みを評価し、それに応じて合理的なキャッシュサイズを割り当て、カスケード方式でメモリ制約を管理する。
  論文  参考訳（メタデータ） (2025-03-16T12:49:44Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• Cost-Efficient Large Language Model Serving for Multi-turn Conversations with CachedAttention [13.041210267981613]
  CachedAttentionは、マルチターン会話間でKVキャッシュの再利用を可能にする新しいアテンションメカニズムである。 これは、最初のトークン(TTFT)までの時間を最大87%削減し、マルチターン会話のスループットを最大7.8$times$に改善し、エンドツーエンドの推論コストを最大70%削減する。
  論文  参考訳（メタデータ） (2024-03-23T10:42:49Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。