Fugu-MT 論文翻訳(概要): KV Cache Optimization Strategies for Scalable and Efficient LLM Inference

論文の概要: KV Cache Optimization Strategies for Scalable and Efficient LLM Inference

arxiv url: http://arxiv.org/abs/2603.20397v1
Date: Fri, 20 Mar 2026 18:16:46 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-24 19:11:38.887536
Title: KV Cache Optimization Strategies for Scalable and Efficient LLM Inference
Title（参考訳）: スケーラブルかつ効率的なLLM推論のためのKVキャッシュ最適化手法
Authors: Yichun Xu, Navjot K. Khaira, Tejinder Singh,
Abstract要約: KVキャッシュは、Transformerベースの大規模言語モデル(LLM)の基本最適化である。効率的なKVキャッシュ管理は、スケーラブルなLLMデプロイメントの1次課題となっている。本稿では,最近のKVキャッシュ最適化手法を体系的に検討し,これらを5つの方向へ整理する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The key-value (KV) cache is a foundational optimization in Transformer-based large language models (LLMs), eliminating redundant recomputation of past token representations during autoregressive generation. However, its memory footprint scales linearly with context length, imposing critical bottlenecks on GPU memory capacity, memory bandwidth, and inference throughput as production LLMs push context windows from thousands to millions of tokens. Efficient KV cache management has thus become a first-order challenge for scalable LLM deployment. This paper provides a systematic review of recent KV cache optimization techniques, organizing them into five principal directions: cache eviction, cache compression, hybrid memory solutions, novel attention mechanisms, and combination strategies. For each category we analyze the underlying mechanisms, deployment trade-offs, and empirical performance across memory reduction, throughput, and model accuracy metrics. We further map techniques to seven practical deployment scenarios, including long-context single requests, high-throughput datacenter serving, edge devices, multi-turn conversations, and accuracy-critical reasoning, providing actionable guidance for practitioners selecting among competing approaches. Our analysis reveals that no single technique dominates across all settings; instead, the optimal strategy depends on context length, hardware constraints, and workload characteristics, pointing toward adaptive, multi-stage optimization pipelines as a promising direction for future research.
Abstract（参考訳）: KVキャッシュはTransformerベースの大規模言語モデル(LLM)の基本最適化であり、自動回帰生成時に過去のトークン表現の冗長な再計算を排除している。しかし、メモリフットプリントはコンテキスト長と線形にスケールし、LLMがコンテキストウィンドウを数千から数百万のトークンにプッシュするにつれて、GPUメモリ容量、メモリ帯域幅、推論スループットに重大なボトルネックを生じさせる。したがって、効率的なKVキャッシュ管理はスケーラブルなLLMデプロイメントの1次課題となっている。本稿では,最近のKVキャッシュ最適化技術について,キャッシュ消去,キャッシュ圧縮,ハイブリッドメモリソリューション,新しいアテンション機構,組み合わせ戦略の5つの主要な方向を整理し,体系的なレビューを行う。各カテゴリについて、メモリ削減、スループット、モデル精度のメトリクスを越えて、基礎となるメカニズム、デプロイメントのトレードオフ、実証的なパフォーマンスを分析します。さらに、長文単一要求、高スループットデータセンターサービス、エッジデバイス、マルチターン会話、精度クリティカルな推論を含む7つの実践的なデプロイメントシナリオにテクニックをマッピングし、競合するアプローチを選択する実践者に対して実用的なガイダンスを提供する。その代わりに、最適な戦略は、コンテキスト長、ハードウェア制約、ワークロード特性に依存し、適応的なマルチステージ最適化パイプラインを将来の研究の有望な方向として指している。

論文の概要: KV Cache Optimization Strategies for Scalable and Efficient LLM Inference

関連論文リスト