論文の概要: FastSwitch: Optimizing Context Switching Efficiency in Fairness-aware Large Language Model Serving

• arxiv url: http://arxiv.org/abs/2411.18424v1
• Date: Wed, 27 Nov 2024 15:07:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:25:15.553040
• Title: FastSwitch: Optimizing Context Switching Efficiency in Fairness-aware Large Language Model Serving
• Title（参考訳）: FastSwitch: フェアネスを考慮した大規模言語モデルの実行におけるコンテキストスイッチ効率の最適化
• Authors: Ao Shen, Zhiyao Li, Mingyu Gao,
• Abstract要約: 既存のシステムはスループットを過度に優先順位付けし、プリエンプションによって引き起こされるコンテキストスイッチによって引き起こされるオーバーヘッドを見渡す傾向がある。 FastSwitchは、既存のKVキャッシュメモリ割り当てポリシーに適合するだけでなく、コンテキストスイッチングオーバーヘッドを軽減するフェアネス対応のサービスシステムである。 我々の評価によると、FastSwitchは最先端のLLMサービスシステムであるvLLMよりも、尾部TTFTとTBTで1.4-11.2xの高速化を実現している。
• 参考スコア（独自算出の注目度）: 2.5833506260502306
• License:
• Abstract: Serving numerous users and requests concurrently requires good fairness in Large Language Models (LLMs) serving system. This ensures that, at the same cost, the system can meet the Service Level Objectives (SLOs) of more users , such as time to first token (TTFT) and time between tokens (TBT), rather than allowing a few users to experience performance far exceeding the SLOs. To achieve better fairness, the preemption-based scheduling policy dynamically adjusts the priority of each request to maintain balance during runtime. However, existing systems tend to overly prioritize throughput, overlooking the overhead caused by preemption-induced context switching, which is crucial for maintaining fairness through priority adjustments. In this work, we identify three main challenges that result in this overhead. 1) Inadequate I/O utilization. 2) GPU idleness. 3) Unnecessary I/O transmission during multi-turn conversations. Our key insight is that the block-based KV cache memory policy in existing systems, while achieving near-zero memory waste, leads to discontinuity and insufficient granularity in the KV cache memory. To respond, we introduce FastSwitch, a fairness-aware serving system that not only aligns with existing KV cache memory allocation policy but also mitigates context switching overhead. Our evaluation shows that FastSwitch outperforms the state-of-the-art LLM serving system vLLM with speedups of 1.4-11.2x across different tail TTFT and TBT.
• Abstract（参考訳）: 多数のユーザとリクエストを同時に実行するには、LLM(Large Language Models)サービスシステムにおいて、適切な公正性が必要です。 これにより、少数のユーザがSLOよりもはるかにパフォーマンスを経験できるのではなく、TTFTやTBTといった多くのユーザのサービスレベルオブジェクト(SLO)を同じコストで満たすことができる。 公平性を向上するため、プリエンプションベースのスケジューリングポリシは、実行中のバランスを維持するために、各要求の優先順位を動的に調整する。 しかし、既存のシステムは、優先順位調整による公平性の維持に不可欠であるプリエンプションによるコンテキストスイッチングによるオーバーヘッドを見越して、スループットを過度に優先順位付けする傾向にある。 この作業では、このオーバーヘッドをもたらす3つの主要な課題を特定します。 1)不適切なI/O利用。 2)GPUのアイドルネス。 3)マルチターン会話における不必要なI/O伝送 我々の重要な洞察は、既存のシステムにおけるブロックベースのKVキャッシュメモリポリシーは、ほぼゼロのメモリムダを実現する一方で、KVキャッシュメモリの不連続性と不十分な粒度をもたらすことである。 そこで本研究では,既存のKVキャッシュメモリ割り当てポリシに適合するだけでなく,コンテキストスイッチングオーバヘッドを緩和するフェアネス対応サービスシステムであるFastSwitchを紹介する。 我々の評価によると、FastSwitchは最先端のLLMサービスシステムであるvLLMよりも、尾部TTFTとTBTで1.4-11.2xの高速化を実現している。

関連論文リスト

• LServe: Efficient Long-sequence LLM Serving with Unified Sparse Attention [26.54297116028556]
  LServeは長周期言語モデルを高速化する効率的なシステムである。 ハードウェアフレンドリーで構造化されたスペーシングパターンを統一し、プリフィルとデコードの両方の注意を喚起する。 LServeはLLMプリフィルを最大2.9倍加速し、vLLMで1.3-2.1倍デコードする。
  論文  参考訳（メタデータ） (2025-02-20T18:59:52Z)
• LeMo: Enabling LEss Token Involvement for MOre Context Fine-tuning [38.35238373706948]
  LeMoはLLMファインチューニングシステムで、長いコンテキストシナリオに固有の新しいトークンレベルのスペーサ性メカニズムを利用する。 LeMoは最大1.93倍のメモリ消費を削減し、最大1.36倍のスピードアップを実現し、最先端の微調整システムより優れている。
  論文  参考訳（メタデータ） (2025-01-15T05:17:12Z)
• ALISE: Accelerating Large Language Model Serving with Speculative Scheduling [7.367068885621016]
  大規模言語モデル(LLM)は、現代の人工知能(AGI)の展望における革命的な進歩を表している。 本稿では, ALISE という新しい効率的な LLM 推論サービスフレームワークを提案する。 ALISEは,AlpacaデータセットとShareGPTデータセットと同じレイテンシ制約の下で,最大1.8xと2.1xの推論処理のスループットを向上することを示す。
  論文  参考訳（メタデータ） (2024-10-31T00:58:11Z)
• EPIC: Efficient Position-Independent Context Caching for Serving Large Language Models [19.510078997414606]
  EPICは、大きな言語モデルのための位置非依存のコンテキストキャッシュを導入している。 EPICはTTFTの最大8倍のスループットと既存のシステムに対する7倍のスループットを提供する。
  論文  参考訳（メタデータ） (2024-10-20T08:42:29Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• RelayAttention for Efficient Large Language Model Serving with Long System Prompts [59.50256661158862]
  本稿では,長いシステムプロンプトを含むLCMサービスの効率を向上させることを目的とする。 これらのシステムプロンプトの処理には、既存の因果注意アルゴリズムにおいて、大量のメモリアクセスが必要である。 本稿では,DRAMから入力トークンのバッチに対して,DRAMから隠れた状態を正確に1回読み取ることのできるアテンションアルゴリズムであるRelayAttentionを提案する。
  論文  参考訳（メタデータ） (2024-02-22T18:58:28Z)
• SpotServe: Serving Generative Large Language Models on Preemptible Instances [64.18638174004151]
  SpotServeは、プリエンプティブルインスタンスにシステムを提供する最初の分散大規模言語モデルである。 SpotServeは、既存のLLMサービスシステムと比較して、P99テールのレイテンシを2.4～9.1倍削減できることを示す。 また、SpotServeはプリエンプティブインスタンスの価格優位性を利用して、オンデマンドインスタンスのみを使用する場合と比較して54%の金銭的コストを節約できることも示しています。
  論文  参考訳（メタデータ） (2023-11-27T06:31:17Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Fast Distributed Inference Serving for Large Language Models [12.703624317418237]
  大規模言語モデル(LLM)のための分散推論サービスシステムであるFastServeについて述べる。 FastServeはLLM推論の自己回帰パターンを利用して、各出力トークンの粒度のプリエンプションを可能にする。 我々は,FastServeのシステムプロトタイプを構築し,最先端のソリューションであるvLLMと比較して,同じ平均および末尾遅延条件下でのスループットを最大31.4xと17.9xに改善したことを示す。
  論文  参考訳（メタデータ） (2023-05-10T06:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。