論文の概要: Efficient and Workload-Aware LLM Serving via Runtime Layer Swapping and KV Cache Resizing

• arxiv url: http://arxiv.org/abs/2506.02006v1
• Date: Sat, 24 May 2025 06:12:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-08 12:40:08.677016
• Title: Efficient and Workload-Aware LLM Serving via Runtime Layer Swapping and KV Cache Resizing
• Title（参考訳）: 実行時層スワッピングとKVキャッシュリサイズによる効率的なワークロード対応LDMサービング
• Authors: Zhaoyuan Su, Tingfeng Lan, Zirui Wang, Juncheng Yang, Yue Cheng,
• Abstract要約: MorphServeは、形態的適応に基づくワークロード対応LLMサービスフレームワークである。 平均的なSLO違反を92.45パーセント削減し、P95 TTFTレイテンシをフル精度サービスと比較して2.2x-3.9倍改善する。
• 参考スコア（独自算出の注目度）: 15.386746669464964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficiently serving large language models (LLMs) under dynamic and bursty workloads remains a key challenge for real-world deployment. Existing serving frameworks and static model compression techniques fail to adapt to workload fluctuations, leading to either service-level objective (SLO) violations under full-precision serving or persistent accuracy degradation with static quantization. We present MorphServe, a dynamic, workload-aware LLM serving framework based on morphological adaptation. MorphServe introduces two asynchronous, token-level runtime mechanisms: quantized layer swapping, which selectively replaces less impactful layers with quantized alternatives during high-load periods, and pressure-aware KV cache resizing, which dynamically adjusts KV cache capacity in response to memory pressure. These mechanisms enable state-preserving transitions with minimum runtime overhead and are fully compatible with modern scheduling and attention techniques. Extensive experiments on Vicuna and Llama family models with real-world workloads demonstrate that MorphServe reduces average SLO violations by 92.45 percent and improves the P95 TTFT latency by 2.2x-3.9x compared to full-precision serving, without compromising generation quality. These results establish MorphServe as a practical and elastic solution for LLM deployment in dynamic environments.
• Abstract（参考訳）: 動的でバースト的なワークロードの下で、大きな言語モデル(LLM)を効率的に提供することは、現実のデプロイメントにおいて重要な課題である。 既存のサービスフレームワークと静的モデル圧縮技術は、ワークロードの変動に適応できないため、フル精度のサービスによるサービスレベル客観的(SLO)違反か、静的量子化による永続的な精度劣化につながる。 モーフサーブ(MorphServe)は、モーフィック適応に基づく動的でワークロード対応のLLMサービスフレームワークである。 MorphServe氏は2つの非同期なトークンレベルのランタイムメカニズムを紹介している。量子化層スワッピング(quantized layer swapping)は、負荷の少ない層を量子化された代替品に選択的に置き換えるもので、メモリの圧力に応じてKVキャッシュ容量を動的に調整する圧力対応KVキャッシュリサイズ(Science-aware)である。 これらのメカニズムにより、最小限のランタイムオーバーヘッドで状態保存のトランジションが可能になり、現代的なスケジューリングとアテンションのテクニックと完全に互換性がある。 VicunaとLlamaのファミリーモデルと実世界のワークロードに関する大規模な実験により、MorphServeは平均的なSLO違反を92.45パーセント削減し、P95 TTFTのレイテンシを2.2x-3.9倍改善することを示した。 これらの結果から,MorphServe は動的環境における LLM 展開のための実用的で弾力的なソリューションとして確立された。

関連論文リスト

• RAP: Runtime-Adaptive Pruning for LLM Inference [7.793451450945128]
  我々は、強化学習(RL)によって駆動される弾力的な刈り取りフレームワークであるRAPを提案する。 RAPは、実際の実行におけるモデルパラメータとKV-cacheの進化率を追跡する。 RAPは最先端のベースラインよりも優れており、モデル重量とKVcacheを同時に検討するのは初めてである。
  論文  参考訳（メタデータ） (2025-05-22T06:12:42Z)
• Apt-Serve: Adaptive Request Scheduling on Hybrid Cache for Scalable LLM Inference Serving [22.66354939370058]
  Apt-Serveは、大規模言語モデル(LLM)推論サービスシステムにおける効果的なスループットを高めるために設計されたフレームワークである。 新たなハイブリッドキャッシュスキームでは、KVキャッシュとメモリ効率の高い隠れキャッシュを組み合わせることで、再利用可能な入力隠れ状態ベクタを実現し、バッチサイズを大きくし、要求を改善する。 Apt-Serveは,最先端の推論サービスシステムと比較して,スループットが最大8.8倍向上することを示す。
  論文  参考訳（メタデータ） (2025-04-10T06:51:23Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• MambaIC: State Space Models for High-Performance Learned Image Compression [53.991726013454695]
  多数のフィールドをまたいだリアルタイム情報伝送には,高性能な画像圧縮アルゴリズムが不可欠である。 状態空間モデル(SSM)の長距離依存性の捕捉効果に着想を得て,SSMを利用して既存手法の計算不効率に対処する。 そこで本稿では,MambaICと呼ばれる洗練されたコンテキストモデリングによる画像圧縮手法を提案する。
  論文  参考訳（メタデータ） (2025-03-16T11:32:34Z)
• Sparse Gradient Compression for Fine-Tuning Large Language Models [58.44973963468691]
  ダウンストリームタスクのための微調整された大型言語モデル(LLM)は、広く利用されていることと、オープンソースモデルの利用が増加しているために、ますます重要になっている。 微調整に伴う高メモリコストは、特にモデルのサイズが大きくなるにつれて大きな課題である。 これらの制約に対処するためにスパース圧縮勾配(SGC)を提案する。
  論文  参考訳（メタデータ） (2025-02-01T04:18:28Z)
• AmoebaLLM: Constructing Any-Shape Large Language Models for Efficient and Instant Deployment [13.977849745488339]
  AmoebaLLMは任意の形状の大規模言語モデルの即時導出を可能にする新しいフレームワークである。 AmoebaLLMは、様々なプラットフォームやアプリケーションに適した迅速なデプロイメントを著しく促進する。
  論文  参考訳（メタデータ） (2024-11-15T22:02:28Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。