論文の概要: Does Execution Require Target KV Fidelity? A Mixed-Fidelity KV Runtime for LLM Serving

• arxiv url: http://arxiv.org/abs/2609.33536v1
• Date: Sun, 27 Sep 2026 13:03:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:56:27.96974
• Title: Does Execution Require Target KV Fidelity? A Mixed-Fidelity KV Runtime for LLM Serving
• Title（参考訳）: 実行時にターゲットKV忠実度は必要か? : LLM実行のための混合忠実度KVランタイム
• Abstract要約: ElasticKVは、ターゲットフィデリティがゲート実行を必要としないという観測に基づいて構築された混合忠実KVランタイムである。 この状態を実現するために、ElasticKVは、(i)フィデリティ低減を再利用可能なGPUキャパシティに変換するペア構造化レイアウト、(ii)デュアルモードアテンションバックエンド、(iii)圧力対応フィデリティ管理を組み合わせる。
• 参考スコア（独自算出の注目度）: 17.92476251666749
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) serving is increasingly constrained by the GPU memory consumed by key-value (KV) caches. Existing compression, eviction, and offloading techniques alleviate this pressure, but serving runtimes typically treat only the configured target KV representation as execution-ready. Under memory pressure, this target-only contract can turn KV shortage into request stalls and preemptions. We present ElasticKV, a mixed-fidelity KV runtime built on the observation that target fidelity need not gate execution. ElasticKV introduces a compact intermediate KV state, making fidelity a runtime-managed execution property. To realize this state in a paged serving runtime, ElasticKV combines (i) a pair-structured layout that turns fidelity reduction into reusable GPU capacity, (ii) a dual-mode attention backend that directly consumes the compact state while preserving the native target-only path, and (iii) pressure-aware fidelity management that adapts KV fidelity to memory pressure. Our extensive evaluation across diverse workloads, model families and scales, and GPU platforms demonstrates the effectiveness and generality of ElasticKV. Under high concurrency, ElasticKV achieves 3.8-4.0$\times$ lower time-to-first-token (TTFT) and 9.1$\times$ lower P90 TTFT than vLLM while preserving generation quality.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、キー値(KV)キャッシュで消費されるGPUメモリによって、ますます制限される。 既存の圧縮、消去、オフロード技術は、このプレッシャーを緩和するが、実行時は通常、設定されたターゲットKV表現のみを実行対応として扱う。 メモリ・プレッシャーの下では、このターゲットのみの契約はKV不足をリクエスト・ストールやプリエンプションに変える。 本稿では,ゲート実行を目標とするKVランタイムであるElasticKVについて述べる。 ElasticKVは、コンパクトな中間KV状態を導入し、忠実度をランタイム管理された実行特性にする。 ページドサービスランタイムでこの状態を実現するために、ElasticKVは組み合わせる i) フィデリティ低減を再利用可能なGPUキャパシティに変換するペア構造レイアウト。 (ii)ネイティブなターゲットのみのパスを保持しながら、直接コンパクトな状態を消費するデュアルモードアテンションバックエンド。 三)KV忠実度を記憶圧に適応させる圧力対応忠実度管理。 さまざまなワークロード、モデルファミリ、スケール、GPUプラットフォームに対する広範な評価は、ElasticKVの有効性と汎用性を示しています。 高い並列性の下で、ElasticKVは3.8-4.0$\times$low time-to-first-token (TTFT)と9.1$\times$low P90 TTFTを生成品質を維持しながら達成している。

関連論文リスト

• KVServe: Service-Aware KV Cache Compression for Communication-Efficient Disaggregated LLM Serving [11.232399432774402]
  LLMはプロダクションで広く採用されており、推論システムを限界まで押し上げている。 分散LDMサービス(例えばPD分離とKV状態分解)はスケーラビリティとコスト効率を向上させるが、KVを明示的なペイロード交差ネットワークとストレージ境界に変換する。 本稿では,最初のサービス対応かつ適応的なKV通信圧縮フレームワークであるemphKVServeについて述べる。
  論文  参考訳（メタデータ） (2026-05-13T16:12:33Z)
• Training Transformers for KV Cache Compressibility [41.06560761854043]
  KV圧縮性は文脈のみでなく,学習した表現の特性であることを示す。 そこで本研究では,圧縮可能な表現の出現を動機づける,継続した事前訓練手順であるKV-Compression Aware Training (KV-CAT)を提案する。
  論文  参考訳（メタデータ） (2026-05-07T10:17:55Z)
• EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction [55.026048429595384]
  EchoKVは、標準と圧縮された推論間のオンデマンド移行を可能にする柔軟なKVキャッシュ圧縮スキームである。 高速で低コストなトレーニングを可能にする2段階の微調整戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-24T07:58:42Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• One Size Does Not Fit All: Token-Wise Adaptive Compression for KV Cache [38.49582847975703]
  低ランクKVキャッシュ圧縮のための新しいポストトレーニングフレームワークDynaKVを提案する。 我々の手法は既存の最先端圧縮技術より一貫して優れています。 SnapKVと統合した場合、DynaKVはKVキャッシュの6%しか保持せず、LongBenchベンチマークのベースラインパフォーマンスの94%を維持している。
  論文  参考訳（メタデータ） (2026-02-03T13:20:36Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。