論文の概要: SlipStream: Adapting Pipelines for Distributed Training of Large DNNs Amid Failures
- arxiv url: http://arxiv.org/abs/2405.14009v1
- Date: Wed, 22 May 2024 21:35:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 19:54:29.270397
- Title: SlipStream: Adapting Pipelines for Distributed Training of Large DNNs Amid Failures
- Title（参考訳）: SlipStream: 大規模なDNNの分散トレーニングにパイプラインを適用する
- Authors: Swapnil Gandhi, Mark Zhao, Athinagoras Skiadopoulos, Christos Kozyrakis,
- Abstract要約: SlipStreamは、障害発生時の効率的な計算訓練システムである。
分散トレーニングシステムに固有の機能的冗長性を活用する。
複数の障害下で高いトレーニングスループットを実現する。
- 参考スコア（独自算出の注目度）: 2.0181279529015925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training large Deep Neural Network (DNN) models requires thousands of GPUs for days or weeks at a time. At these scales, failures are frequent and can have a big impact on training throughput. Restoring performance using spare GPU servers becomes increasingly expensive as models grow. SlipStream is a system for efficient DNN training in the presence of failures, without using spare servers. It exploits the functional redundancy inherent in distributed training systems -- servers hold the same model parameters across data-parallel groups -- as well as the bubbles in the pipeline schedule within each data-parallel group. SlipStream dynamically re-routes the work of a failed server to its data-parallel peers, ensuring continuous training despite multiple failures. However, re-routing work leads to imbalances across pipeline stages that degrades training throughput. SlipStream introduces two optimizations that allow re-routed work to execute within bubbles of the original pipeline schedule. First, it decouples the backward pass computation into two phases. Second, it staggers the execution of the optimizer step across pipeline stages. Combined, these optimizations enable schedules that minimize or even eliminate training throughput degradation during failures. We describe a prototype for SlipStream and show that it achieves high training throughput under multiple failures, outperforming recent proposals for fault-tolerant training such as Oobleck and Bamboo by up to 1.46x and 1.64x, respectively.
- Abstract（参考訳）: 大規模なDeep Neural Network(DNN)モデルをトレーニングするには、何日、何週間もの間、数千のGPUが必要になる。
このようなスケールでは、障害は頻繁に発生し、トレーニングのスループットに大きな影響を与えます。
モデルの成長に伴い、予備のGPUサーバを使用したパフォーマンスの回復はますますコストがかかる。
SlipStreamは、予備サーバを使わずに、障害発生時に効率的なDNNトレーニングを行うシステムである。
分散トレーニングシステムに固有の機能的冗長性(サーバはデータ並列グループ間で同じモデルパラメータを保持します)と、各データ並列グループ内のパイプラインスケジュール内のバブルを利用する。
SlipStreamは、失敗するサーバの作業をデータ並列ピアに動的に振り返り、複数の障害にもかかわらず継続的なトレーニングを保証する。
しかしながら、再ルーティング作業は、トレーニングスループットを低下させるパイプラインステージ間の不均衡につながる。
SlipStreamは2つの最適化を導入し、元のパイプラインスケジュールのバブル内で再処理を実行できるようにした。
まず、後方通過計算を2つのフェーズに分離する。
第2に、パイプラインステージを越えたオプティマイザステップの実行を停滞させる。
これらの最適化を組み合わせることで、障害時のトレーニングスループットの低下を最小限に抑えたり、あるいは排除したりするスケジュールが可能になる。
SlipStreamのプロトタイプについて述べ、複数の障害下で高いトレーニングスループットを実現し、OobleckやBambooといった耐障害性トレーニングの最近の提案を最大1.46倍と1.64倍で上回っていることを示す。
関連論文リスト
- Faster Multi-GPU Training with PPLL: A Pipeline Parallelism Framework Leveraging Local Learning [8.628231789161577]
本稿では,ローカル学習アルゴリズムを活用する新しいフレームワークPPLL(Pipeline Parallelism based on Local Learning)を提案する。
GPU間のデータ転送を管理するキューを利用することで、PPLLはシームレスなクロスGPU通信を保証する。
その結果,PPLLは従来のパイプライン並列処理と同等あるいはそれ以上の訓練速度を達成しつつ,局所的な学習手法の学習速度を大幅に向上することを示した。
論文 参考訳（メタデータ） (2024-11-19T08:09:18Z) - BitPipe: Bidirectional Interleaved Pipeline Parallelism for Accelerating Large Models Training [5.7294516069851475]
BitPipeは、大規模なモデルのトレーニングを加速するための双方向のインターリーブパイプライン並列処理である。
最新の同期手法と比較して,BitPipeはGPTスタイルとBERTスタイルのモデルのトレーニングスループットを1.05x-1.28倍向上することを示す。
論文 参考訳（メタデータ） (2024-10-25T08:08:51Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳（メタデータ） (2023-12-23T07:47:07Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。
最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。
また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文 参考訳（メタデータ） (2022-04-02T09:50:19Z) - Training Recommender Systems at Scale: Communication-Efficient Model and
Data Parallelism [56.78673028601739]
通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。
DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。
最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
論文 参考訳（メタデータ） (2020-10-18T01:44:42Z) - Procrustes: a Dataflow and Accelerator for Sparse Deep Neural Network
Training [0.5219568203653523]
我々は,まず,第1の訓練を行わず,第2の訓練を行ない,第2の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行なう。
最先端のDNNアクセラレーターをスパーストレーニングサポートなしで使用した同等の未使用モデルのトレーニングと比較すると、Procrustesは最大3.26$times$少ないエネルギーを消費し、様々なモデルにわたって最大4$times$のスピードアップを提供する。
論文 参考訳（メタデータ） (2020-09-23T07:39:55Z) - Pipelined Backpropagation at Scale: Training Large Models without
Batches [0.9580895202050946]
我々は,非同期パイプライン並列学習アルゴリズムである細粒度パイプラインバックプロパゲーションの小型バッチの利用を評価した。
適切な正規化と小さなバッチサイズは、トレーニングにも役立ちます。
論文 参考訳（メタデータ） (2020-03-25T22:26:28Z) - Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文 参考訳（メタデータ） (2020-03-10T05:52:15Z) - Pipelined Training with Stale Weights of Deep Convolutional Neural
Networks [0.1921787217122713]
パイプライン化バックプロパゲーション方式の統計的効率と性能に及ぼす固定重みの影響について検討する。
パイプライニングがネットワークの初期の層に限られている場合、固定重み付きトレーニングが収束し、同じ精度のモデルが得られることを示す。
本稿では,パイプライン型と非パイプライン型を併用したハイブリッドスキームを提案する。
論文 参考訳（メタデータ） (2019-12-29T15:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。