論文の概要: KVServe: Service-Aware KV Cache Compression for Communication-Efficient Disaggregated LLM Serving
- arxiv url: http://arxiv.org/abs/2605.13734v1
- Date: Wed, 13 May 2026 16:12:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:28.169433
- Title: KVServe: Service-Aware KV Cache Compression for Communication-Efficient Disaggregated LLM Serving
- Title（参考訳）: KVServe: 通信効率の良い分散LDMサービングのためのサービス対応KVキャッシュ圧縮
- Abstract要約: LLMはプロダクションで広く採用されており、推論システムを限界まで押し上げている。
分散LDMサービス(例えばPD分離とKV状態分解)はスケーラビリティとコスト効率を向上させるが、KVを明示的なペイロード交差ネットワークとストレージ境界に変換する。
本稿では,最初のサービス対応かつ適応的なKV通信圧縮フレームワークであるemphKVServeについて述べる。
- 参考スコア（独自算出の注目度）: 11.232399432774402
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs are widely adopted in production, pushing inference systems to their limits. Disaggregated LLM serving (e.g., PD separation and KV state disaggregation) improves scalability and cost efficiency, but it also turns KV into an explicit payload crossing network and storage boundaries, making KV a dominant end-to-end bottleneck. Existing KV compression are typically static runtime configurations, despite production service context varies over time in workload mix, bandwidth, and SLO/quality budgets. As a result, a fixed choice can be suboptimal or even increase latency. We present \emph{KVServe}, the first service-aware and adaptive KV communication compression framework for disaggregated LLM serving: KVServe (1) unifies KV compression into a modular strategy space with new components and cross-method recomposition; (2) introduces Bayesian Profiling Engine that efficiently searches this space and distills a 3D Pareto candidate set, reducing $50\times$ offline search overhead; and (3) deploys a Service-Aware Online Controller that combines an analytical latency model with a lightweight bandit to select profiles under constraints and correct offline-to-online mismatch. Integrated into vLLM and evaluated across datasets, models, GPUs and networks, KVServe achieves up to $9.13\times$ JCT speedup in PD-separated serving and up to $32.8\times$ TTFT reduction in KV-disaggregated serving.
- Abstract（参考訳）: LLMはプロダクションで広く採用されており、推論システムを限界まで押し上げている。
分散LDMサービス(例えばPD分離とKV状態分解)はスケーラビリティとコスト効率を向上させるが、KVを明示的なペイロード交差ネットワークとストレージ境界に変換することで、KVをエンドツーエンドのボトルネックとして支配する。
既存のKV圧縮は、ワークロードの混在、帯域幅、SLO/品質の予算など、運用サービスのコンテキストが時間とともに変化するにもかかわらず、通常、静的なランタイム構成である。
その結果、固定された選択は最適以下にするか、あるいはレイテンシを増大させることができる。
KVServe (1) KV圧縮をモジュール戦略空間に統一し、新しいコンポーネントとメソッド間再構成、(2) この空間を効率的に検索し、3Dパレート候補セットを蒸留するBayesian Profiling Engineの導入、$50\times$オフラインサーチオーバーヘッドの削減、(3)分析遅延モデルと軽量バンドレットを組み合わせたService-Aware Online Controllerのデプロイ。
vLLMに統合され、データセット、モデル、GPU、ネットワーク間で評価されるKVServeは、PD分離サービスで最大9.13\times$JCTスピードアップ、KV分離サービスで最大32.8\times$TTFT還元を達成する。
関連論文リスト
- C$^2$KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference [31.428047145437773]
長文推論は、検索拡張生成やマルチドキュメント推論といった現代の大規模言語モデル(LLM)アプリケーションの中心である。
推論コストの増大を軽減するため、最近の研究では、余分なプリフィル計算を減らすためにキー値(KV)キャッシュの再利用を検討した。
既存の再利用手法は主に保存に重点を置いており、KVキャッシュの保存とアクセスのコストという長期的サービスにおける重要なボトルネックを見落としている。
論文 参考訳（メタデータ） (2026-07-20T09:09:23Z) - Unifying Sparse Attention with Hierarchical Memory for Scalable Long-Context LLM Serving [18.681651346752766]
動的スパースアテンションは、デコーディングステップ毎にKV状態の小さなクエリ依存サブセットだけにアクセスすることで緩和を約束する。
しかし実際には、これらのアルゴリズムによる貯蓄は、エンドツーエンドのシステムレベルのゲインにはほとんど変換されない。
本稿では,階層的なKVストレージで実行パイプラインを協調設計するスパースアテンション対応推論フレームワークSPINを提案する。
論文 参考訳（メタデータ） (2026-04-29T16:02:00Z) - SparKV: Overhead-Aware KV Cache Loading for Efficient On-Device LLM Inference [8.037785679532316]
SparKVは、クラウドベースのKVストリーミングとオンデバイス計算を組み合わせた、適応的なKVローディングフレームワークである。
また,SparKVは,リクエスト毎のエネルギー消費を1.5倍から3.3倍に抑えつつ,応答品質に無視できる影響を与えながら,第1次から第1次までの時間を1.3$x-5.1x削減することを示した。
論文 参考訳（メタデータ） (2026-04-23T02:55:31Z) - LKV: End-to-End Learning of Head-wise Budgets and Token Selection for LLM KV Cache Eviction [46.60403085398673]
本稿では,KV圧縮をエンドツーエンドの微分可能最適化問題として定式化するLKV(Learned KV Eviction)を提案する。
LKVは、LongBenchベンチマークとRULERベンチマークの両方で、高い圧縮速度で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-04-22T06:35:23Z) - DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。
DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。
実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
論文 参考訳（メタデータ） (2026-02-08T15:14:36Z) - Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction [50.99402504483692]
凍結重み付き言語モデルのための新しいゲーティングベースのKVキャッシュ消去手法を提案する。
私たちのアプローチは、プリフィルとデコードの両方の段階にシームレスに統合されます。
実験の結果,KVキャッシュの最大70%を除去しながら,ほぼ無作為な性能を維持していることがわかった。
論文 参考訳（メタデータ） (2026-01-25T03:07:54Z) - OjaKV: Context-Aware Online Low-Rank KV Cache Compression with Oja's Rule [54.37983890753086]
我々は,戦略的ハイブリッドストレージポリシとオンラインサブスペース適応を統合したフレームワークであるOjaKVを紹介する。
OjaKVは、重要かつ最新のトークンをフルランクで保存し、注意のために高忠実なアンカーを維持している。
オンライン主成分分析のためのOjaのアルゴリズムを用いて、プロジェクションベースを漸進的に適応させることにより、低ランク圧縮を適用する。
論文 参考訳（メタデータ） (2025-09-25T21:42:27Z) - FreeKV: Boosting KV Cache Retrieval for Efficient LLM Inference [12.79375490077812]
FreeKVは、精度を保ちながらKV検索効率を向上させるアルゴリズム-システム共最適化フレームワークである。
実験によると、FreeKVはさまざまなシナリオやモデルでほぼ無作為に精度が向上し、最大で13$times$ Speedupを提供する。
論文 参考訳（メタデータ） (2025-05-19T13:36:45Z) - DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。
残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。
提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
論文 参考訳（メタデータ） (2025-02-24T06:33:39Z) - DiffKV: Differentiated Memory Management for Large Language Models with Parallel KV Compaction [33.936381781692994]
DiffKVは効率的なKVキャッシュ圧縮のための新しいフレームワークである。
KVキャッシュにおける3つのレベルの分化を利用する。
KVキャッシュを2.7Times$から5.7times$に圧縮できる。
論文 参考訳（メタデータ） (2024-12-04T08:51:23Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳（メタデータ） (2024-10-04T03:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。