論文の概要: AlpaServe: Statistical Multiplexing with Model Parallelism for Deep Learning Serving

• arxiv url: http://arxiv.org/abs/2302.11665v2
• Date: Wed, 19 Jul 2023 04:03:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 17:45:20.999867
• Title: AlpaServe: Statistical Multiplexing with Model Parallelism for Deep Learning Serving
• Title（参考訳）: AlpaServe:Deep Learning Servingのためのモデル並列処理を用いた統計的多重化
• Authors: Zhuohan Li, Lianmin Zheng, Yinmin Zhong, Vincent Liu, Ying Sheng, Xin Jin, Yanping Huang, Zhifeng Chen, Hao Zhang, Joseph E. Gonzalez, Ion Stoica
• Abstract要約: モデル並列性は、複数のモデルを提供する場合、複数のデバイスの統計多重化に利用できることを示す。 本稿では,大規模ディープラーニングモデルのコレクションを配置・並列化するための効率的な戦略を決定する新しいサービスシステムAlpaServeを提案する。
• 参考スコア（独自算出の注目度）: 53.01646445659089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model parallelism is conventionally viewed as a method to scale a single large deep learning model beyond the memory limits of a single device. In this paper, we demonstrate that model parallelism can be additionally used for the statistical multiplexing of multiple devices when serving multiple models, even when a single model can fit into a single device. Our work reveals a fundamental trade-off between the overhead introduced by model parallelism and the opportunity to exploit statistical multiplexing to reduce serving latency in the presence of bursty workloads. We explore the new trade-off space and present a novel serving system, AlpaServe, that determines an efficient strategy for placing and parallelizing collections of large deep learning models across a distributed cluster. Evaluation results on production workloads show that AlpaServe can process requests at up to 10x higher rates or 6x more burstiness while staying within latency constraints for more than 99% of requests.
• Abstract（参考訳）: モデル並列性は、従来、単一のデバイスのメモリ制限を超えて単一の大きなディープラーニングモデルをスケールする方法と見なされている。 本論文では,1つのモデルが1つのデバイスに収まる場合であっても,複数のモデルを提供する場合,複数のデバイスの統計多重化にモデル並列性を付加することができることを示す。 我々の研究は、モデル並列化によって導入されたオーバーヘッドと、バーストのあるワークロードの存在下でのサービスレイテンシを低減するために統計的多重化を利用する機会との根本的なトレードオフを明らかにします。 我々は,新たなトレードオフ空間を探求し,分散クラスタ全体にわたる大規模ディープラーニングモデルのコレクションを配置および並列化する効率的な戦略を決定する新しいサービスシステムAlpaServeを提案する。 運用ワークロードの評価結果によると、AlpaServeはリクエストを最大10倍高いレートで処理でき、また、99%以上のリクエストでレイテンシ制約内に留まることができる。

関連論文リスト

• FlexModel: A Framework for Interpretability of Distributed Large Language Models [0.0]
  マルチGPUとマルチノード構成に分散したモデルを扱うための,合理化されたインターフェースを提供するソフトウェアパッケージであるFlexModelを紹介する。 このライブラリは既存のモデル配布ライブラリと互換性があり、PyTorchモデルをカプセル化している。 ユーザ登録可能なHookFunctionを公開して,分散モデル内部との直接的なインタラクションを容易にする。
  論文  参考訳（メタデータ） (2023-12-05T21:19:33Z)
• Saturn: An Optimized Data System for Large Model Deep Learning Workloads [6.377812618046872]
  SPASEに取り組む: 並列性を選択し、リソースをアロケートし、スケジューリングする。 本研究では,SPASE問題に全体的に取り組むための新しい情報システムアーキテクチャを提案する。 また,MILPソルバの直接使用は,複数のベースラインよりも有意に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-09-03T17:19:11Z)
• SWARM Parallelism: Training Large Models Can Be Surprisingly Communication-Efficient [69.61083127540776]
  ディープラーニングアプリケーションは、数十億のパラメータを持つ大きなモデルを使用することの恩恵を受ける。 これらのモデルのトレーニングは、特殊なHPCクラスタを必要とするため、非常に高価である。 安価な"プリエンプティブル"インスタンスを使用するか、あるいは複数のリージョンから既存のリソースをプールする。
  論文  参考訳（メタデータ） (2023-01-27T18:55:19Z)
• Does compressing activations help model parallel training? [64.59298055364336]
  モデル並列性に対する圧縮法の有効性に関する実験的検討を行った。 圧縮アルゴリズムの3つの共通クラスを実装し,評価する。 我々は160以上の設定と8つの一般的なデータセットでこれらの手法を評価した。
  論文  参考訳（メタデータ） (2023-01-06T18:58:09Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Hydra: A System for Large Multi-Model Deep Learning [3.571623412954477]
  本稿では,トランスフォーマーやCNNといったモデルを対象として,DRAMとGPUメモリ間のレイヤ群を移動させる手法である'model spilling'を提案する。 次に,マルチモデルトレーニングワークロードの効率を上げるために,こぼれを利用した新しいテクニックのセットを提案する。 実際のベンチマークワークロードによる実験によると、HYDRAは通常のモデル並列処理よりも7倍高速で、パイプライン並列処理のための最先端の産業ツールよりも50%高速である。
  論文  参考訳（メタデータ） (2021-10-16T18:13:57Z)
• Model-Parallel Model Selection for Deep Learning Systems [0.0]
  機械学習(ML)トレーニングの非効率性は、ほとんどのユーザにとって最先端モデルの実用的使用を防止する。 多くのML実践者は、計算要求を複数のデバイスに分散させる方法として、並列性をモデル化している。 タスクとモデル並列性を組み合わせた新しい形式の「シャード並列性」を提案し、それをHydraという名前のフレームワークにパッケージ化する。
  論文  参考訳（メタデータ） (2021-07-14T03:20:37Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)
• When Ensembling Smaller Models is More Efficient than Single Large Models [52.38997176317532]
  アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。 これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
  論文  参考訳（メタデータ） (2020-05-01T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。