論文の概要: AMP: Automatically Finding Model Parallel Strategies with Heterogeneity
Awareness
- arxiv url: http://arxiv.org/abs/2210.07297v1
- Date: Thu, 13 Oct 2022 18:55:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 17:08:59.749376
- Title: AMP: Automatically Finding Model Parallel Strategies with Heterogeneity
Awareness
- Title(参考訳): AMP:不均一性を考慮したモデル並列戦略の自動検出
- Authors: Dacheng Li, Hongyi Wang, Eric Xing, Hao Zhang
- Abstract要約: 我々は,モデル並列実行戦略を自動的に導出するAMPを開発する。
パブリッククラウドから人気のモデルとクラスタのセットアップでAMPを評価します。
AMPは、最先端のモデル並列システムよりも1.54倍と1.77倍高いスループットの戦略を見つける。
- 参考スコア(独自算出の注目度): 10.20441432750275
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scaling up model sizes can lead to fundamentally new capabilities in many
machine learning (ML) tasks. However, training big models requires strong
distributed system expertise to carefully design model-parallel execution
strategies that suit the model architectures and cluster setups. In this paper,
we develop AMP, a framework that automatically derives such strategies. AMP
identifies a valid space of model parallelism strategies and efficiently
searches the space for high-performed strategies, by leveraging a cost model
designed to capture the heterogeneity of the model and cluster specifications.
Unlike existing methods, AMP is specifically tailored to support complex models
composed of uneven layers and cluster setups with more heterogeneous
accelerators and bandwidth. We evaluate AMP on popular models and cluster
setups from public clouds and show that AMP returns parallel strategies that
match the expert-tuned strategies on typical cluster setups. On heterogeneous
clusters or models with heterogeneous architectures, AMP finds strategies with
1.54x and 1.77x higher throughput than state-of-the-art model-parallel systems,
respectively.
- Abstract(参考訳): モデルサイズのスケールアップは、多くの機械学習(ml)タスクの基本的な新機能につながる可能性がある。
しかしながら,大規模モデルのトレーニングには,モデルアーキテクチャやクラスタ設定に適したモデル並列実行戦略を慎重に設計する上で,強力な分散システム専門知識が必要である。
本稿では,このような戦略を自動的に導出するAMPを開発する。
AMPはモデルとクラスタの仕様の不均一性を捉えるために設計されたコストモデルを活用することで、モデル並列化戦略の有効な空間を特定し、高性能戦略のための空間を効率的に検索する。
既存の方法とは異なり、AMPは不均一なレイヤと、より異質なアクセラレータと帯域幅を備えたクラスタセットアップからなる複雑なモデルをサポートするように特別に調整されている。
我々は、一般的なモデルとパブリッククラウドからのクラスタ設定についてampを評価し、典型的なクラスタ設定のエキスパートチューニング戦略にマッチする並列戦略を返すことを示す。
異種クラスタや異種アーキテクチャを持つモデルでは、AMPは最先端のモデル並列システムよりも1.54倍のスループットと1.77倍のスループットの戦略を求める。
関連論文リスト
- SWARM Parallelism: Training Large Models Can Be Surprisingly
Communication-Efficient [69.61083127540776]
ディープラーニングアプリケーションは、数十億のパラメータを持つ大きなモデルを使用することの恩恵を受ける。
これらのモデルのトレーニングは、特殊なHPCクラスタを必要とするため、非常に高価である。
安価な"プリエンプティブル"インスタンスを使用するか、あるいは複数のリージョンから既存のリソースをプールする。
論文 参考訳(メタデータ) (2023-01-27T18:55:19Z) - A parallelizable model-based approach for marginal and multivariate
clustering [0.0]
本稿では,モデルに基づくクラスタリングの頑健さを生かしたクラスタリング手法を提案する。
我々は、各マージンごとに異なる数のクラスタを持つことができる有限混合モデルを指定することで、この問題に対処する。
提案手法は、完全な(結合した)モデルベースのクラスタリング手法よりも、中程度から高次元の処理に適するだけでなく、計算的にも魅力的である。
論文 参考訳(メタデータ) (2022-12-07T23:54:41Z) - COMET: A Comprehensive Cluster Design Methodology for Distributed Deep Learning Training [42.514897110537596]
現代のディープラーニング(DL)モデルは、トレーニングする専門的でハイエンドなノードの大規模なクラスタを必要とするサイズに成長しています。
このようなクラスタを設計してパフォーマンスと利用の両方を最大化します。
本稿では,並列化戦略と鍵クラスタリソースのプロビジョニングが分散DLトレーニングのパフォーマンスに与える影響を共同で研究する,総合的なクラスタ設計方法論とワークフローであるCOMETを紹介する。
論文 参考訳(メタデータ) (2022-11-30T00:32:37Z) - AdaptDHM: Adaptive Distribution Hierarchical Model for Multi-Domain CTR
Prediction [4.299153274884263]
本稿では,適応分布階層モデル (Adaptive Distribution Hierarchical Model, AdaptDHM) という,エレガントで柔軟なマルチディストリビューション・モデリング手法を提案する。
本モデルでは, 予測精度が向上し, トレーニング期間中の時間コストは, 他のモデルに比べて50%以上低下する。
論文 参考訳(メタデータ) (2022-11-22T09:10:37Z) - On Optimizing the Communication of Model Parallelism [79.33873698640662]
大規模モデル並列ディープラーニング(DL)における新しい重要なコミュニケーションパターンについて検討する。
クロスメッシュリシャーディングでは、シャードテンソルをソースデバイスメッシュから宛先デバイスメッシュに送信する必要がある。
本稿では、効率的な放送ベースの通信システムと「重複しやすい」パイプラインスケジュールという、クロスメシュ・リシャーディングに対処するための2つのコントリビューションを提案する。
論文 参考訳(メタデータ) (2022-11-10T03:56:48Z) - Decentralized Training of Foundation Models in Heterogeneous
Environments [77.47261769795992]
GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。
ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
論文 参考訳(メタデータ) (2022-06-02T20:19:51Z) - DistIR: An Intermediate Representation and Simulator for Efficient
Neural Network Distribution [15.086401550425125]
DistIRは分散計算のための表現であり、効率的な解析のために調整されている。
本研究では、DistIRとそのシミュレータが1000以上の構成にまたがる複雑な分散空間を高速にグリッドで探索する方法を示す。
論文 参考訳(メタデータ) (2021-11-09T21:32:51Z) - Data Summarization via Bilevel Optimization [48.89977988203108]
シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。
本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-26T09:08:38Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳(メタデータ) (2020-10-12T03:27:07Z) - Unsupervised multi-modal Styled Content Generation [61.040392094140245]
UMMGANは、教師なし方式でマルチモーダル分布をモデル化するために設計された新しいアーキテクチャである。
UMMGANはモードとスタイルを効果的に切り離し、生成したコンテンツに対して独立した制御を行うことができることを示す。
論文 参考訳(メタデータ) (2020-01-10T19:36:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。