論文の概要: LoongServe: Efficiently Serving Long-Context Large Language Models with Elastic Sequence Parallelism

• arxiv url: http://arxiv.org/abs/2404.09526v2
• Date: Tue, 29 Oct 2024 13:04:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:36:25.939170
• Title: LoongServe: Efficiently Serving Long-Context Large Language Models with Elastic Sequence Parallelism
• Title（参考訳）: LoongServe: 弾力的なシーケンス並列性を備えた長文大言語モデルの効率的な実行
• Authors: Bingyang Wu, Shengyu Liu, Yinmin Zhong, Peng Sun, Xuanzhe Liu, Xin Jin,
• Abstract要約: 既存の大規模言語モデル(LLM)は、異なるフェーズにおける可変長要求を効率的に提供できない。 本稿では,異なる要求と位相の分散に対応するために,新しい並列性パラダイムである弾性列並列性(ESP)を提案する。 LoongServeは、チャンクプレフィルと比較して最大スループットを最大3.85$times$、プリフィルデコードデアグリゲーションと比較して5.81$times$に改善する。
• 参考スコア（独自算出の注目度）: 12.521026493432181
• License:
• Abstract: The context window of large language models (LLMs) is rapidly increasing, leading to a huge variance in resource usage between different requests as well as between different phases of the same request. Restricted by static parallelism strategies, existing LLM serving systems cannot efficiently utilize the underlying resources to serve variable-length requests in different phases. To address this problem, we propose a new parallelism paradigm, elastic sequence parallelism (ESP), to elastically adapt to the variance between different requests and phases. Based on ESP, we design and build LoongServe, an LLM serving system that (1) improves computation efficiency by elastically adjusting the degree of parallelism in real-time, (2) improves communication efficiency by reducing key-value cache migration overhead and overlapping partial decoding communication with computation, and (3) improves GPU memory efficiency by reducing key-value cache fragmentation across instances. Our evaluation under diverse real-world datasets shows that LoongServe improves the maximum throughput by up to 3.85$\times$ compared to the chunked prefill and 5.81$\times$ compared to the prefill-decoding disaggregation.
• Abstract（参考訳）: 大規模言語モデル(LLM)のコンテキストウィンドウは急速に増加しており、異なる要求と同じ要求の異なるフェーズ間のリソース使用量に大きなばらつきをもたらしている。 静的並列化戦略によって制限され、既存のLLMサービスシステムは、異なるフェーズにおける可変長要求を効率的に利用できない。 この問題に対処するために、異なる要求と位相の分散に弾性的に適応する新しい並列性パラダイム、弾性列並列性(ESP)を提案する。 ESPに基づいて,(1)リアルタイムに並列性の度合いを弾性的に調整し,計算効率を向上させるLongServeを設計・構築し,(2)鍵値キャッシュマイグレーションオーバーヘッドの低減と計算による部分復号通信の重複による通信効率の向上,(3)インスタンス間のキー値キャッシュフラグメンテーションの低減によるGPUメモリ効率の向上を図った。 多様な実世界のデータセットによる評価では、LoongServeはチャンクプリフィルと比較して最大スループットを最大3.85$\times$、プリフィルデコードデアグリゲーションと比較して5.81$\times$に改善している。

関連論文リスト

• SMDP-Based Dynamic Batching for Improving Responsiveness and Energy Efficiency of Batch Services [12.600853777230185]
  並列コンピューティングリソースは、より大きなバッチサイズで動作する場合の計算効率とエネルギー効率が向上する。 オンラインサービスの世界では、より大きなバッチサイズを採用することで、レスポンス時間が長くなる可能性がある。 本稿では,レイテンシと効率を微妙にバランスさせる動的スキームを提案する。
  論文  参考訳（メタデータ） (2025-01-04T04:14:09Z)
• Efficiently Serving Large Multimodal Models Using EPD Disaggregation [24.05805398635414]
  Encode-Prefill-Decode Disaggregation(エンコード・プリフィル・デコード・デコード・デアグリゲーション)という,エンコード・プリフィル・デコード・デコード・デアグリゲーション(Encode-Prefill-Decode Disaggregation)というフレームワークを紹介した。 メモリ効率の大幅な向上(使用率の削減)、バッチサイズ(最大22$times$大きなもの)、10$times$より多くのイメージ/リクエスト、2.2$times$より大きなKVキャッシュ。
  論文  参考訳（メタデータ） (2024-12-25T10:11:31Z)
• Tackling the Dynamicity in a Production LLM Serving System with SOTA Optimizations via Hybrid Prefill/Decode/Verify Scheduling on Efficient Meta-kernels [12.77187564450236]
  本稿では,多機能なAscendネイティブ,エンドツーエンド生産型大規模言語モデル(LLM)サービスシステムであるXY-Serveを紹介する。 中心となる考え方は、計算をきめ細かいメタプリミティブに分解することで、ワークロードの変動を円滑にする抽象化メカニズムである。 GEMMでは,動的形状変化に適応する仮想パディング方式を導入し,高効率な固定タイルサイズGEMMプリミティブを用いた。
  論文  参考訳（メタデータ） (2024-12-24T02:27:44Z)
• Multi-Bin Batching for Increasing LLM Inference Throughput [19.652542432683234]
  大規模言語モデル(LL)は、システムの効率性を向上させるために人気が高まっている。 リクエストはサーバ上のジョブをスケジューリングする重要なステップです。 リクエストは、しばしば異なる生成長を持ち、リソースの未利用を引き起こす。 我々は、この問題をキューイング理論の観点から形式化し、スループット制御ポリシーを設計することを目的とする。
  論文  参考訳（メタデータ） (2024-12-03T03:16:12Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Efficient Interactive LLM Serving with Proxy Model-based Sequence Length Prediction [8.705908108054878]
  大型モデル(LLM)は、多くのドメインにわたるAIアプリケーションの新しい波を駆動している。 LLM出力シーケンス長の予測に光プロキシモデルを用いる投機的ショートストジョブファースト(SSJF)スケジューラを提案する。
  論文  参考訳（メタデータ） (2024-04-12T14:46:15Z)
• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
  HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。 我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
  論文  参考訳（メタデータ） (2024-02-14T18:04:36Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Parallel Training of Deep Networks with Local Updates [84.30918922367442]
  ローカル並列性(Local Parallelism)は、グローバルバックプロパゲーションを切り捨てられたレイヤワイズバックプロパゲーションに置き換えることで、ディープネットワーク内の個々のレイヤのトレーニングを並列化するフレームワークである。 我々は、様々なアーキテクチャセットにわたるビジョンと言語領域の両方で結果を示し、局所的並列性は特に高コンピュートなシステムにおいて有効であることを見出した。
  論文  参考訳（メタデータ） (2020-12-07T16:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。