論文の概要: KunServe: Elastic and Efficient Large Language Model Serving with Parameter-centric Memory Management

• arxiv url: http://arxiv.org/abs/2412.18169v2
• Date: Thu, 26 Dec 2024 03:28:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 10:58:29.638361
• Title: KunServe: Elastic and Efficient Large Language Model Serving with Parameter-centric Memory Management
• Title（参考訳）: KunServe:パラメータ中心のメモリ管理を実現する弾力的で効率的な大規模言語モデル
• Authors: Rongxin Cheng, Yifan Peng, Yuxin Lai, Xingda Wei, Rong Chen, Haibo Chen,
• Abstract要約: 大きな言語モデル(LLM)は、ロードバーストまたは長期要求下で、貴重なGPUメモリを簡単に絞り込むことができる。 KVCache中心のアプローチは、KVCacheのドロップ、マイグレーション、スワップによってロードスパイクを処理する。 本稿では,レプリケートされたパラメータを選択的に削除して,要求に貴重なメモリを残すパラメータ中心のアプローチを提案する。
• 参考スコア（独自算出の注目度）: 14.760434869268423
• License:
• Abstract: The stateful nature of large language model (LLM) servingcan easily throttle precious GPU memory under load burstor long-generation requests like chain-of-thought reasoning,causing latency spikes due to queuing incoming requests. However, state-of-the-art KVCache centric approaches handleload spikes by dropping, migrating, or swapping KVCache,which faces an essential tradeoff between the performance ofongoing vs. incoming requests and thus still severely violatesSLO.This paper makes a key observation such that model param-eters are independent of the requests and are replicated acrossGPUs, and thus proposes a parameter-centric approach byselectively dropping replicated parameters to leave preciousmemory for requests. However, LLM requires KVCache tobe saved in bound with model parameters and thus droppingparameters can cause either huge computation waste or longnetwork delay, affecting all ongoing requests. Based on the ob-servation that attention operators can be decoupled from otheroperators, this paper further proposes a novel remote attentionmechanism through pipeline parallelism so as to serve up-coming requests with the additional memory borrowed fromparameters on remote GPUs. This paper further addresses sev-eral other challenges including lively exchanging KVCachewith incomplete parameters, generating an appropriate planthat balances memory requirements with cooperative exe-cution overhead, and seamlessly restoring parameters whenthe throttling has gone. Evaluations show thatKUNSERVEreduces the tail TTFT of requests under throttling by up to 27.3x compared to the state-of-the-art.
• Abstract（参考訳）: 大規模言語モデル(LLM)のステートフルな性質は、ロードバーストやチェーンオブソート推論といった長期要求の下で、受信要求のキューングによるレイテンシのスパイクを発生させることが容易である。 しかし、現在最先端のKVCache中心のアプローチであるKVCacheは、停止、移行、交換によって負荷スパイクを処理する。これは、入ってくるリクエストのパフォーマンスと入ってくるリクエストの間に重要なトレードオフに直面しており、それでもなお深刻な違反SLOである。この記事では、モデルパラムペタが要求から独立してGPU間で複製されるような重要な観察を行い、複製されたパラメータを選択的に削除して、要求に貴重なメモリを残すことによってパラメータ中心のアプローチを提案する。 しかし、LLMはモデルパラメータとバインドしてKVCacheを保存する必要があるため、パラメータを落とせば巨大な計算のムダや長いネットワーク遅延が発生し、進行中のすべての要求に影響を及ぼす可能性がある。 本稿では,他の演算子からアテンション演算子を分離できるというオブザーブレーションに基づいて,パイプライン並列化による新たなリモートアテンション機構を提案する。 本稿では、KVCacheを不完全なパラメータで活発に交換すること、メモリ要求と協調的実行オーバーヘッドのバランスをとる適切なプランを作成すること、スロットリングがなくなったときにパラメータをシームレスに復元することなど、他の課題にも対処する。 評価の結果、KUNSERVEは最新技術と比較して、スロットリング中のリクエストのテールTTFTを最大27.3倍まで低減することがわかった。

関連論文リスト

• ProMoE: Fast MoE-based LLM Serving using Proactive Caching [2.041412657843408]
  Mixture-of-Experts (MoE)モデルは、計算中にモデルのパラメータのサブセットだけを活性化することでこの問題を軽減する。 本稿では,中間モデルを用いた新しいプロアクティブキャッシングシステムProMoEを提案する。 評価の結果,ProMoEはプリフィルおよびデコード段階で平均2.13倍,2.84倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2024-10-29T15:31:27Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• RelayAttention for Efficient Large Language Model Serving with Long System Prompts [59.50256661158862]
  本稿では,長いシステムプロンプトを含むLCMサービスの効率を向上させることを目的とする。 これらのシステムプロンプトの処理には、既存の因果注意アルゴリズムにおいて、大量のメモリアクセスが必要である。 本稿では,DRAMから入力トークンのバッチに対して,DRAMから隠れた状態を正確に1回読み取ることのできるアテンションアルゴリズムであるRelayAttentionを提案する。
  論文  参考訳（メタデータ） (2024-02-22T18:58:28Z)
• Efficient NLP Inference at the Edge via Elastic Pipelining [0.42970700836450487]
  WRXは2つの新しい手法によってレイテンシ/メモリの緊張を緩和する。 We build WRX and evaluation that on a range of NLP tasks, under a practical range of target latencies, on both CPU and GPU。
  論文  参考訳（メタデータ） (2022-07-11T17:15:57Z)
• Sparsification via Compressed Sensing for Automatic Speech Recognition [0.0]
  大規模機械学習アプリケーションはモデル量子化と圧縮を必要とする。 本稿では,これらの問題に効果的に対応するために,圧縮センシングベースプルーニング(CSP)手法を提案する。 CSPは文学における既存のアプローチよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-09T16:41:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。