論文の概要: KVServe: Service-Aware KV Cache Compression for Communication-Efficient Disaggregated LLM Serving

• arxiv url: http://arxiv.org/abs/2605.13734v1
• Date: Wed, 13 May 2026 16:12:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.169433
• Title: KVServe: Service-Aware KV Cache Compression for Communication-Efficient Disaggregated LLM Serving
• Title（参考訳）: KVServe: 通信効率の良い分散LDMサービングのためのサービス対応KVキャッシュ圧縮
• Authors: Zedong Liu, Xinyang Ma, Dejun Luo, Hairui Zhao, Bing Lu, Wenjing Huang, Yida Gu, Xingchen Liu, Zheng Wei, Jinyang Liu, Dingwen Tao, Guangming Tan,
• Abstract要約: LLMはプロダクションで広く採用されており、推論システムを限界まで押し上げている。 分散LDMサービス(例えばPD分離とKV状態分解)はスケーラビリティとコスト効率を向上させるが、KVを明示的なペイロード交差ネットワークとストレージ境界に変換する。 本稿では,最初のサービス対応かつ適応的なKV通信圧縮フレームワークであるemphKVServeについて述べる。
• 参考スコア（独自算出の注目度）: 11.232399432774402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLMs are widely adopted in production, pushing inference systems to their limits. Disaggregated LLM serving (e.g., PD separation and KV state disaggregation) improves scalability and cost efficiency, but it also turns KV into an explicit payload crossing network and storage boundaries, making KV a dominant end-to-end bottleneck. Existing KV compression are typically static runtime configurations, despite production service context varies over time in workload mix, bandwidth, and SLO/quality budgets. As a result, a fixed choice can be suboptimal or even increase latency. We present \emph{KVServe}, the first service-aware and adaptive KV communication compression framework for disaggregated LLM serving: KVServe (1) unifies KV compression into a modular strategy space with new components and cross-method recomposition; (2) introduces Bayesian Profiling Engine that efficiently searches this space and distills a 3D Pareto candidate set, reducing $50\times$ offline search overhead; and (3) deploys a Service-Aware Online Controller that combines an analytical latency model with a lightweight bandit to select profiles under constraints and correct offline-to-online mismatch. Integrated into vLLM and evaluated across datasets, models, GPUs and networks, KVServe achieves up to $9.13\times$ JCT speedup in PD-separated serving and up to $32.8\times$ TTFT reduction in KV-disaggregated serving.
• Abstract（参考訳）: LLMはプロダクションで広く採用されており、推論システムを限界まで押し上げている。 分散LDMサービス(例えばPD分離とKV状態分解)はスケーラビリティとコスト効率を向上させるが、KVを明示的なペイロード交差ネットワークとストレージ境界に変換することで、KVをエンドツーエンドのボトルネックとして支配する。 既存のKV圧縮は、ワークロードの混在、帯域幅、SLO/品質の予算など、運用サービスのコンテキストが時間とともに変化するにもかかわらず、通常、静的なランタイム構成である。 その結果、固定された選択は最適以下にするか、あるいはレイテンシを増大させることができる。 KVServe (1) KV圧縮をモジュール戦略空間に統一し、新しいコンポーネントとメソッド間再構成、(2) この空間を効率的に検索し、3Dパレート候補セットを蒸留するBayesian Profiling Engineの導入、$50\times$オフラインサーチオーバーヘッドの削減、(3)分析遅延モデルと軽量バンドレットを組み合わせたService-Aware Online Controllerのデプロイ。 vLLMに統合され、データセット、モデル、GPU、ネットワーク間で評価されるKVServeは、PD分離サービスで最大9.13\times$JCTスピードアップ、KV分離サービスで最大32.8\times$TTFT還元を達成する。

関連論文リスト

• SparKV: Overhead-Aware KV Cache Loading for Efficient On-Device LLM Inference [8.037785679532316]
  SparKVは、クラウドベースのKVストリーミングとオンデバイス計算を組み合わせた、適応的なKVローディングフレームワークである。 また,SparKVは,リクエスト毎のエネルギー消費を1.5倍から3.3倍に抑えつつ,応答品質に無視できる影響を与えながら,第1次から第1次までの時間を1.3$x-5.1x削減することを示した。
  論文  参考訳（メタデータ） (2026-04-23T02:55:31Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction [50.99402504483692]
  凍結重み付き言語モデルのための新しいゲーティングベースのKVキャッシュ消去手法を提案する。 私たちのアプローチは、プリフィルとデコードの両方の段階にシームレスに統合されます。 実験の結果,KVキャッシュの最大70%を除去しながら,ほぼ無作為な性能を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-01-25T03:07:54Z)
• OjaKV: Context-Aware Online Low-Rank KV Cache Compression with Oja's Rule [54.37983890753086]
  我々は,戦略的ハイブリッドストレージポリシとオンラインサブスペース適応を統合したフレームワークであるOjaKVを紹介する。 OjaKVは、重要かつ最新のトークンをフルランクで保存し、注意のために高忠実なアンカーを維持している。 オンライン主成分分析のためのOjaのアルゴリズムを用いて、プロジェクションベースを漸進的に適応させることにより、低ランク圧縮を適用する。
  論文  参考訳（メタデータ） (2025-09-25T21:42:27Z)
• FreeKV: Boosting KV Cache Retrieval for Efficient LLM Inference [12.79375490077812]
  FreeKVは、精度を保ちながらKV検索効率を向上させるアルゴリズム-システム共最適化フレームワークである。 実験によると、FreeKVはさまざまなシナリオやモデルでほぼ無作為に精度が向上し、最大で13$times$ Speedupを提供する。
  論文  参考訳（メタデータ） (2025-05-19T13:36:45Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• DiffKV: Differentiated Memory Management for Large Language Models with Parallel KV Compaction [33.936381781692994]
  DiffKVは効率的なKVキャッシュ圧縮のための新しいフレームワークである。 KVキャッシュにおける3つのレベルの分化を利用する。 KVキャッシュを2.7Times$から5.7times$に圧縮できる。
  論文  参考訳（メタデータ） (2024-12-04T08:51:23Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。