論文の概要: Saturn: An Optimized Data System for Large Model Deep Learning Workloads
- arxiv url: http://arxiv.org/abs/2309.01226v2
- Date: Wed, 13 Dec 2023 18:42:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 20:26:40.962372
- Title: Saturn: An Optimized Data System for Large Model Deep Learning Workloads
- Title（参考訳）: saturn: 大規模ディープラーニングワークロードのための最適化されたデータシステム
- Authors: Kabir Nagrecha and Arun Kumar
- Abstract要約: SPASEに取り組む: 並列性を選択し、リソースをアロケートし、スケジューリングする。
本研究では,SPASE問題に全体的に取り組むための新しい情報システムアーキテクチャを提案する。
また,MILPソルバの直接使用は,複数のベースラインよりも有意に有効であることがわかった。
- 参考スコア（独自算出の注目度）: 6.377812618046872
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models such as GPT-3 & ChatGPT have transformed deep learning
(DL), powering applications that have captured the public's imagination. These
models are rapidly being adopted across domains for analytics on various
modalities, often by finetuning pre-trained base models. Such models need
multiple GPUs due to both their size and computational load, driving the
development of a bevy of "model parallelism" techniques & tools. Navigating
such parallelism choices, however, is a new burden for end users of DL such as
data scientists, domain scientists, etc. who may lack the necessary systems
knowhow. The need for model selection, which leads to many models to train due
to hyper-parameter tuning or layer-wise finetuning, compounds the situation
with two more burdens: resource apportioning and scheduling. In this work, we
tackle these three burdens for DL users in a unified manner by formalizing them
as a joint problem that we call SPASE: Select a Parallelism, Allocate
resources, and SchedulE. We propose a new information system architecture to
tackle the SPASE problem holistically, representing a key step toward enabling
wider adoption of large DL models. We devise an extensible template for
existing parallelism schemes and combine it with an automated empirical
profiler for runtime estimation. We then formulate SPASE as an MILP.
We find that direct use of an MILP-solver is significantly more effective
than several baseline heuristics. We optimize the system runtime further with
an introspective scheduling approach. We implement all these techniques into a
new data system we call Saturn. Experiments with benchmark DL workloads show
that Saturn achieves 39-49% lower model selection runtimes than typical current
DL practice.
- Abstract（参考訳）: GPT-3やChatGPTといった大規模言語モデルは、ディープラーニング(DL)を変革し、大衆の想像力を捉えたアプリケーションを動かしている。
これらのモデルは、様々なモダリティの分析のために、しばしば事前訓練されたベースモデルを微調整することで、ドメイン全体で急速に採用されている。
このようなモデルは、サイズと計算負荷の両方のために複数のGPUを必要とし、"モデル並列化"技術とツールの開発を推進している。
しかし、このような並列性の選択をナビゲートすることは、必要なシステムノウハウを欠く可能性のあるデータ科学者、ドメイン科学者など、DLのエンドユーザーにとって新たな負担となる。
ハイパーパラメータチューニングやレイヤ単位での微調整のために多くのモデルをトレーニングするモデル選択の必要性は、リソースの割り当てとスケジューリングという2つの負担を伴います。
本研究では,これら3つのDLユーザの負担を統一的に解決し,SPASE(Select a Parallelism, Allocate resources, Schedule)と呼ぶ共同問題として形式化する。
本研究では,SPASE問題に全体的に取り組むための新しい情報システムアーキテクチャを提案する。
既存の並列化スキームのための拡張可能なテンプレートを考案し、ランタイム推定のための自動実証プロファイラと組み合わせる。
次に、SPASEをMILPとして定式化する。
また,MILPソルバの直接使用は,いくつかの基礎的ヒューリスティックスよりも有意に有効であることがわかった。
イントロスペクティブなスケジューリングアプローチで,システムランタイムをさらに最適化する。
これらの技術をすべて、サターンと呼ばれる新しいデータシステムに実装します。
ベンチマークDLワークロードによる実験では、サターンは典型的なDLよりも39～49%低いモデル選択ランタイムを達成した。
関連論文リスト
- Saturn: Efficient Multi-Large-Model Deep Learning [6.377812618046872]
まず,ユーザが大規模モデルを構築する上で,3つの重要な相互接続システム課題を特定する。
次に、これらを共同問題として形式化し、これらの課題に同時に取り組むために、新しいシステムアーキテクチャを構築します。
評価の結果,我々の共同最適化手法は,従来のDLよりも39～49%低いモデル選択実行時間が得られることがわかった。
論文 参考訳（メタデータ） (2023-11-06T02:59:49Z) - Prompt2Model: Generating Deployable Models from Natural Language
Instructions [74.19816829003729]
大規模言語モデル(LLM)により、システムビルダーはプロンプトによって有能なNLPシステムを作成することができる。
言い換えれば、LSMは従来の特殊目的のNLPモデルとは逆のステップである。
本稿では,LLMに提供されるプロンプトのように自然言語によるタスク記述を行う汎用手法であるPrompt2Modelを提案する。
論文 参考訳（メタデータ） (2023-08-23T17:28:21Z) - Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。
モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。
ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-28T12:02:27Z) - AlpaServe: Statistical Multiplexing with Model Parallelism for Deep
Learning Serving [53.01646445659089]
モデル並列性は、複数のモデルを提供する場合、複数のデバイスの統計多重化に利用できることを示す。
本稿では,大規模ディープラーニングモデルのコレクションを配置・並列化するための効率的な戦略を決定する新しいサービスシステムAlpaServeを提案する。
論文 参考訳（メタデータ） (2023-02-22T21:41:34Z) - SWARM Parallelism: Training Large Models Can Be Surprisingly
Communication-Efficient [69.61083127540776]
ディープラーニングアプリケーションは、数十億のパラメータを持つ大きなモデルを使用することの恩恵を受ける。
これらのモデルのトレーニングは、特殊なHPCクラスタを必要とするため、非常に高価である。
安価な"プリエンプティブル"インスタンスを使用するか、あるいは複数のリージョンから既存のリソースをプールする。
論文 参考訳（メタデータ） (2023-01-27T18:55:19Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Can Deep Learning be Applied to Model-Based Multi-Object Tracking? [25.464269324261636]
マルチオブジェクトトラッキング(MOT)は、ノイズ測定を用いて未知の、時間変化のあるオブジェクトの状態をトラッキングする問題である。
ディープラーニング(DL)は、トラッキングパフォーマンスを改善するために、MOTでますます使われている。
本稿では,TransformerベースのDLトラッカーを提案し,その性能をモデルベースで評価する。
論文 参考訳（メタデータ） (2022-02-16T07:43:08Z) - Hydra: A System for Large Multi-Model Deep Learning [3.571623412954477]
本稿では,トランスフォーマーやCNNといったモデルを対象として,DRAMとGPUメモリ間のレイヤ群を移動させる手法である'model spilling'を提案する。
次に,マルチモデルトレーニングワークロードの効率を上げるために,こぼれを利用した新しいテクニックのセットを提案する。
実際のベンチマークワークロードによる実験によると、HYDRAは通常のモデル並列処理よりも7倍高速で、パイプライン並列処理のための最先端の産業ツールよりも50%高速である。
論文 参考訳（メタデータ） (2021-10-16T18:13:57Z) - Model-Parallel Model Selection for Deep Learning Systems [0.0]
機械学習(ML)トレーニングの非効率性は、ほとんどのユーザにとって最先端モデルの実用的使用を防止する。
多くのML実践者は、計算要求を複数のデバイスに分散させる方法として、並列性をモデル化している。
タスクとモデル並列性を組み合わせた新しい形式の「シャード並列性」を提案し、それをHydraという名前のフレームワークにパッケージ化する。
論文 参考訳（メタデータ） (2021-07-14T03:20:37Z) - It's the Best Only When It Fits You Most: Finding Related Models for
Serving Based on Dynamic Locality Sensitive Hashing [1.581913948762905]
トレーニングデータの作成は、生産や研究のためにディープラーニングモデルをデプロイするライフサイクルにおいて、しばしばボトルネックとなる。
本稿では,対象のデータセットと利用可能なモデルのトレーニングデータセットの類似性に基づいて,関連するモデルを検索してサービスするエンド・ツー・エンドプロセスを提案する。
論文 参考訳（メタデータ） (2020-10-13T22:52:13Z) - Scaling Distributed Deep Learning Workloads beyond the Memory Capacity
with KARMA [58.040931661693925]
冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。
最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。
我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
論文 参考訳（メタデータ） (2020-08-26T07:24:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。