論文の概要: HetHub: A Heterogeneous distributed hybrid training system for large-scale models
- arxiv url: http://arxiv.org/abs/2405.16256v1
- Date: Sat, 25 May 2024 14:36:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 22:17:06.205504
- Title: HetHub: A Heterogeneous distributed hybrid training system for large-scale models
- Title（参考訳）: HetHub:大規模モデルのための異種分散ハイブリッドトレーニングシステム
- Authors: Si Xu, Zixiao Huang, Yan Zeng, Shengen Yan, Xuefei Ning, Haolin Ye, Sipei Gu, Chunsheng Shui, Zhezheng Lin, Hao Zhang, Sheng Wang, Guohao Dai, Yu Wang,
- Abstract要約: GPUアクセラレータのタイプで大規模なクラスタを構築するのは難しい。
既存の分散トレーニングシステムは、均一なGPUアクセラレータしかサポートしていない。
本稿では,ヘテロジニアスGPUアクセラレータを用いたハイブリッド並列処理による分散トレーニングシステムを提案する。
- 参考スコア（独自算出の注目度）: 16.1256574973098
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The development of large-scale models relies on a vast number of computing resources. For example, the GPT-4 model (1.8 trillion parameters) requires 25000 A100 GPUs for its training. It is a challenge to build a large-scale cluster with a type of GPU-accelerator. Using multiple types of GPU-accelerators to construct a cluster is an effective way to solve the problem of insufficient homogeneous GPU-accelerators. However, the existing distributed training systems for large-scale models only support homogeneous GPU-accelerators, not heterogeneous GPU-accelerators. To address the problem, this paper proposes a distributed training system with hybrid parallelism support on heterogeneous GPU-accelerators for large-scale models. It introduces a distributed unified communicator to realize the communication between heterogeneous GPU-accelerators, a distributed performance predictor, and an automatic hybrid parallel module to develop and train models efficiently with heterogeneous GPU-accelerators. Compared to the distributed training system with homogeneous GPU-accelerators, our system can support six different combinations of heterogeneous GPU-accelerators and the optimal performance of heterogeneous GPU-accelerators has achieved at least 90% of the theoretical upper bound performance of homogeneous GPU-accelerators.
- Abstract（参考訳）: 大規模モデルの開発は、膨大な数の計算資源に依存している。
例えば、GPT-4モデル(1.8兆のパラメータ)はトレーニングに25,000のA100 GPUを必要とする。
GPUアクセラレータのタイプで大規模なクラスタを構築するのは難しい。
クラスタ構築に複数のタイプのGPUアクセラレータを使用することは、不均一なGPUアクセラレータの問題を解決する効果的な方法である。
しかし、大規模モデルの既存の分散トレーニングシステムは、異種GPU加速器ではなく、同種GPU加速器のみをサポートしている。
そこで本研究では,大規模モデル用ヘテロジニアスGPUアクセラレータをハイブリッド並列化サポートした分散トレーニングシステムを提案する。
異種GPUアクセラレータ間の通信を実現する分散統一コミュニケータ、分散パフォーマンス予測器、および異種GPUアクセラレータで効率的にモデルを開発し訓練するための自動ハイブリッド並列モジュールを導入している。
均質GPU加速器を用いた分散トレーニングシステムと比較して、同質GPU加速器の6つの異なる組み合わせをサポートし、同質GPU加速器の理論的上界性能の少なくとも90%は、異質GPU加速器の最適性能が達成されている。
関連論文リスト
- Video-Infinity: Distributed Long Video Generation [73.30145218077074]
拡散モデルは近年,映像生成において顕著な成果を上げている。
提案手法は,約5分で最大2,300フレームの映像を生成し,従来の手法の100倍の速度で長大な映像を生成する。
論文 参考訳（メタデータ） (2024-06-24T01:56:12Z) - FLUX: Fast Software-based Communication Overlap On GPUs Through Kernel Fusion [9.743943561871825]
本稿では,GPUに依存する計算で通信遅延を著しく隠蔽する新しいFlux法を提案する。
Fluxは核融合によって最大96%の通信を重複させる可能性がある。
全体としては、様々なGPU世代と相互接続を持つ128GPUのクラスタ上で、Megatron-LM上でのトレーニングのために、最大1.24倍のスピードアップを達成することができる。
論文 参考訳（メタデータ） (2024-06-11T00:17:39Z) - FusionAI: Decentralized Training and Deploying LLMs with Massive
Consumer-Level GPUs [57.12856172329322]
我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。
このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
論文 参考訳（メタデータ） (2023-09-03T13:27:56Z) - SPEED: Streaming Partition and Parallel Acceleration for Temporal
Interaction Graph Embedding [22.68416593780539]
本稿では,時間的相互作用グラフ埋め込みのためのストリームエッジ分割と並列高速化という,新たなトレーニング手法を提案する。
提案手法は,計算資源,計算時間,下流タスク性能のバランスが良好である。
7つの実世界のデータセットにまたがる実証的な検証は、トレーニング速度を最大19.29倍に向上させる可能性を実証している。
論文 参考訳（メタデータ） (2023-08-27T15:11:44Z) - SWARM Parallelism: Training Large Models Can Be Surprisingly
Communication-Efficient [69.61083127540776]
ディープラーニングアプリケーションは、数十億のパラメータを持つ大きなモデルを使用することの恩恵を受ける。
これらのモデルのトレーニングは、特殊なHPCクラスタを必要とするため、非常に高価である。
安価な"プリエンプティブル"インスタンスを使用するか、あるいは複数のリージョンから既存のリソースをプールする。
論文 参考訳（メタデータ） (2023-01-27T18:55:19Z) - Decentralized Training of Foundation Models in Heterogeneous
Environments [77.47261769795992]
GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。
ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
論文 参考訳（メタデータ） (2022-06-02T20:19:51Z) - MG-GCN: Scalable Multi-GPU GCN Training Framework [1.7188280334580197]
グラフ畳み込みネットワーク(GCN)モデルの完全なバッチトレーニングは、大きなグラフのための単一のGPUでは実現できない。
MG-GCNは、メモリバッファの効率的な再使用を含む、複数のハイパフォーマンスコンピューティング最適化を採用している。
MG-GCNは、DGX-1(V100)とDGX-A100の両方のRedditグラフ上で、DGLに関する超線形スピードアップを達成する。
論文 参考訳（メタデータ） (2021-10-17T00:41:43Z) - Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous
Multi-GPU Servers [65.60007071024629]
本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。
本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
論文 参考訳（メタデータ） (2021-10-13T20:58:15Z) - M6-10T: A Sharing-Delinking Paradigm for Efficient Multi-Trillion
Parameter Pretraining [55.16088793437898]
極端なモデルのトレーニングには大量の計算とメモリフットプリントが必要です。
本稿では,高メモリフットプリント要求大モデルのための簡単なトレーニング戦略"Pseudo-to-Real"を提案する。
論文 参考訳（メタデータ） (2021-10-08T04:24:51Z) - Heterogeneous CPU+GPU Stochastic Gradient Descent Algorithms [1.3249453757295084]
ヘテロジニアスCPU+GPUアーキテクチャの深層学習のためのトレーニングアルゴリズムについて検討する。
私たちの2倍の目標 -- 収束率と資源利用を同時に最大化する -- は、この問題を難しくします。
これらのアルゴリズムの実装は,複数の実データセットよりも高速な収束と資源利用の両立を実現していることを示す。
論文 参考訳（メタデータ） (2020-04-19T05:21:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。