論文の概要: ExeGPT: Constraint-Aware Resource Scheduling for LLM Inference
- arxiv url: http://arxiv.org/abs/2404.07947v1
- Date: Fri, 15 Mar 2024 06:21:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-14 13:03:36.105494
- Title: ExeGPT: Constraint-Aware Resource Scheduling for LLM Inference
- Title(参考訳): ExeGPT: LLM推論のための制約を考慮したリソーススケジューリング
- Authors: Hyungjun Oh, Kihong Kim, Jaemin Kim, Sungkyun Kim, Junyeol Lee, Du-seong Chang, Jiwon Seo,
- Abstract要約: 本稿では,制約を考慮したLLM推論のための分散システムExeGPTを提案する。
入力シーケンスと出力シーケンスの分散を利用することで、リソースを効果的に割り当て、最適な実行構成を決定する。
我々は, T5, OPT, GPT-3の6つのLLMインスタンスと5つのNLPタスクに対して, それぞれ異なる遅延制約を持つExeGPTを評価した。
- 参考スコア(独自算出の注目度): 8.067906745034268
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents ExeGPT, a distributed system designed for constraint-aware LLM inference. ExeGPT finds and runs with an optimal execution schedule to maximize inference throughput while satisfying a given latency constraint. By leveraging the distribution of input and output sequences, it effectively allocates resources and determines optimal execution configurations, including batch sizes and partial tensor parallelism. We also introduce two scheduling strategies based on Round-Robin Allocation and Workload-Aware Allocation policies, suitable for different NLP workloads. We evaluate ExeGPT on six LLM instances of T5, OPT, and GPT-3 and five NLP tasks, each with four distinct latency constraints. Compared to FasterTransformer, ExeGPT achieves up to 15.2x improvements in throughput and 6x improvements in latency. Overall, ExeGPT achieves an average throughput gain of 2.9x across twenty evaluation scenarios. Moreover, when adapting to changing sequence distributions, the cost of adjusting the schedule in ExeGPT is reasonably modest. ExeGPT proves to be an effective solution for optimizing and executing LLM inference for diverse NLP workload and serving conditions.
- Abstract(参考訳): 本稿では,制約を考慮したLLM推論のための分散システムExeGPTを提案する。
ExeGPTは、与えられたレイテンシ制約を満たしながら、推論スループットを最大化するために、最適な実行スケジュールを見つけ、実行します。
入力シーケンスと出力シーケンスの分散を活用することで、リソースを効果的に割り当て、バッチサイズや部分テンソル並列性を含む最適な実行構成を決定する。
また、異なるNLPワークロードに適したラウンドロビン割当ポリシーとワークロード意識割当ポリシーに基づく2つのスケジューリング戦略を導入する。
我々は, T5, OPT, GPT-3の6つのLLMインスタンスと5つのNLPタスクに対して, それぞれ異なる遅延制約を持つExeGPTを評価した。
FasterTransformerと比較して、ExeGPTはスループットを最大15.2倍改善し、レイテンシを6倍改善した。
全体として、ExeGPTは20のシナリオで平均スループットが2.9倍になる。
さらに、シーケンス分布の変化に適応する場合、ExeGPTのスケジュールを調整するコストは、合理的に控えめである。
ExeGPTは、多様なNLPワークロードとサービス条件に対してLLM推論を最適化し実行するための有効なソリューションであることが証明されている。
関連論文リスト
- AntBatchInfer: Elastic Batch Inference in the Kubernetes Cluster [22.477723879021934]
AntBatchInferは、非専用クラスタ用に特別に最適化されたエラスティックバッチ推論フレームワークである。
マルチレベルのフォールトトレラント機能を提供し、多目的および長時間実行される推論タスクの安定した実行を可能にする。
Ant Groupでは、DLRM、CV、NLPなど、さまざまなシナリオから毎日数千のジョブが使用されている。
論文 参考訳(メタデータ) (2024-04-15T11:37:40Z) - Efficient Interactive LLM Serving with Proxy Model-based Sequence Length Prediction [8.705908108054878]
大型モデル(LLM)は、多くのドメインにわたるAIアプリケーションの新しい波を駆動している。
LLM出力シーケンス長の予測に光プロキシモデルを用いる投機的ショートストジョブファースト(SSJF)スケジューラを提案する。
論文 参考訳(メタデータ) (2024-04-12T14:46:15Z) - AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。
既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。
本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
論文 参考訳(メタデータ) (2024-03-19T08:40:21Z) - Controllable Prompt Tuning For Balancing Group Distributional Robustness [59.94489781153899]
グループ間で優れたパフォーマンスを実現するための最適化スキームを導入し、それらの性能を著しく犠牲にすることなく、全員に良い解決策を見出す。
本稿では,制御可能なプロンプトチューニング(CPT)を提案する。
突発的相関ベンチマークでは, 変換器と非変換器の両アーキテクチャ, および非モーダルおよびマルチモーダルデータにまたがって, 最先端の結果が得られた。
論文 参考訳(メタデータ) (2024-03-05T06:23:55Z) - Benchmarking GPT-4 on Algorithmic Problems: A Systematic Evaluation of
Prompting Strategies [51.485598133884615]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらした。
LLMは体系的な一般化を欠き、学習された統計正則をトレーニング分布の外へ外挿することができる。
本稿では,最も先進的なLCMの1つであるGPT-4の系統的なベンチマークを行う。
論文 参考訳(メタデータ) (2024-02-27T10:44:52Z) - Fast Trainable Projection for Robust Fine-Tuning [36.51660287722338]
ロバスト微調整は、競争力のある分散内分散(ID)性能を達成することを目的としている。
プロジェクションベースの微調整は頑健な微調整に成功している。
Fast Trainable Projectionはプロジェクションベースのファインチューニングアルゴリズムである。
論文 参考訳(メタデータ) (2023-10-29T22:52:43Z) - Machine Learning Infused Distributed Optimization for Coordinating
Virtual Power Plant Assets [0.0]
本稿では,VPPアセットを調整するために,機械学習を利用した分散最適化を提案する。
提案手法はLOOP-MACと呼ばれ,各VPPエージェントが複数のDERを管理するマルチエージェントコーディネート・パースペクティブを採用している。
その結果, LOOP-MACの利点, 反復時間当たりの解の高速化, 収束時間を大幅に短縮した。
論文 参考訳(メタデータ) (2023-10-27T04:11:13Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z) - Oracle-Efficient Pessimism: Offline Policy Optimization in Contextual
Bandits [82.28442917447643]
悲観的OPOのための最初の一般オラクル効率アルゴリズムを提案する。
従来の悲観的アプローチと類似した統計的保証を得る。
我々は多種多様な構成の非正規化OPOに対して優位性を示す。
論文 参考訳(メタデータ) (2023-06-13T17:29:50Z) - Generalized Planning in PDDL Domains with Pretrained Large Language
Models [82.24479434984426]
PDDLドメインを考慮し、GPT-4を用いてPythonプログラムを合成する。
7つのPDDLドメインでこのアプローチを評価し、4つのアブレーションと4つのベースラインと比較した。
論文 参考訳(メタデータ) (2023-05-18T14:48:20Z) - Multi-user Co-inference with Batch Processing Capable Edge Server [26.813145949399427]
エネルギー制約のあるモバイルデバイスが推論タスクをGPUでエッジサーバにオフロードするという,新たなシナリオに注目した。
推論タスクは、オフロードとスケジューリングのより細かい粒度のためにサブタスクに分割される。
各ユーザのオフロードポリシを独立して最適化し,同じサブタスクをすべてひとつのバッチで集約することが最適であることが証明された。
実験の結果、IP-SSAはオフライン環境でのユーザエネルギー消費を94.9%削減することがわかった。
論文 参考訳(メタデータ) (2022-06-03T15:40:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。