論文の概要: From promise to practice: realizing high-performance decentralized training

• arxiv url: http://arxiv.org/abs/2410.11998v1
• Date: Tue, 15 Oct 2024 19:04:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:41:00.674814
• Title: From promise to practice: realizing high-performance decentralized training
• Title（参考訳）: 約束から実践へ:高性能な分散トレーニングを実現する
• Authors: Zesen Wang, Jiaojiao Zhang, Xuyang Wu, Mikael Johansson,
• Abstract要約: ディープニューラルネットワークの分散トレーニングは、All-Reduceのような同期データ並列メソッドよりも理論的に優れたスケーラビリティのために大きな注目を集めている。 本稿では、All-Reduceトレーニングのスピードアップにつながる3つの重要な要因を特定し、いつ、どのように、どの程度の分散化によって、より短い実行時間が得られるかを決定するランタイムモデルを構築する。
• 参考スコア（独自算出の注目度）: 8.955918346078935
• License:
• Abstract: Decentralized training of deep neural networks has attracted significant attention for its theoretically superior scalability over synchronous data-parallel methods like All-Reduce. However, realizing this potential in multi-node training is challenging due to the complex design space that involves communication topologies, computation patterns, and optimization algorithms. This paper identifies three key factors that can lead to speedups over All-Reduce training and constructs a runtime model to determine when, how, and to what degree decentralization can yield shorter per-iteration runtimes. Furthermore, to support the decentralized training of transformer-based models, we study a decentralized Adam algorithm that allows for overlapping communications and computations, prove its convergence, and propose an accumulation technique to mitigate the high variance caused by small local batch sizes. We deploy the proposed approach in clusters with up to 64 GPUs and demonstrate its practicality and advantages in both runtime and generalization performance under a fixed iteration budget.
• Abstract（参考訳）: ディープニューラルネットワークの分散トレーニングは、All-Reduceのような同期データ並列メソッドよりも理論的に優れたスケーラビリティのために大きな注目を集めている。 しかし、通信トポロジ、計算パターン、最適化アルゴリズムを含む複雑な設計空間のため、マルチノードトレーニングにおけるこの可能性を実現することは困難である。 本稿では、All-Reduceトレーニングの高速化につながる3つの重要な要因を特定し、いつ、どのように、どのように、どの程度の分散化がイテレーション当たりのランタイムを短くすることができるかを決定するランタイムモデルを構築する。 さらに, 変圧器モデルによる分散学習を支援するために, 通信と計算を重畳し, 収束性を証明する分散化Adamアルゴリズムについて検討し, 局所的なバッチサイズが小さいことによる高分散を緩和するための累積手法を提案する。 提案手法を最大64GPUのクラスタに展開し、その実用性と、固定イテレーション予算下でのランタイムおよび一般化性能の利点を実証する。

関連論文リスト

• Ravnest: Decentralized Asynchronous Training on Heterogeneous Devices [0.0]
  Ravnestは、計算ノードをクラスタに効率的に整理することで、分散トレーニングを促進する。 遅延更新を伴うブロック構造最適化問題として,非同期SGD損失関数のフレーム化を行った。
  論文  参考訳（メタデータ） (2024-01-03T13:07:07Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Simplifying Distributed Neural Network Training on Massive Graphs: Randomized Partitions Improve Model Aggregation [23.018715954992352]
  本稿では、前述のコスト操作に依存しない分散GNNトレーニングのための簡易フレームワークを提案する。 具体的には,トレーニンググラフの局所的に利用可能な部分の局所モデルを非同期に学習する独立したトレーナーを編成する。 最大13億エッジのソーシャルおよびeコマースネットワークの実験において、提案したRandomTMAおよびSuperTMAアプローチは、最速のベースラインと比較して最先端のパフォーマンスと2.31倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2023-05-17T01:49:44Z)
• Optimal Complexity in Non-Convex Decentralized Learning over Time-Varying Networks [8.860889476382594]
  時間変化ネットワークによる分散最適化は、機械学習の新たなパラダイムである。 大規模な深層トレーニングでは通信オーバーヘッドが大幅に削減され、特にノードの移動時の無線シナリオでは堅牢になる。
  論文  参考訳（メタデータ） (2022-11-01T15:37:54Z)
• Decentralized Training of Foundation Models in Heterogeneous Environments [77.47261769795992]
  GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。 ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2022-06-02T20:19:51Z)
• Consensus Control for Decentralized Deep Learning [72.50487751271069]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。 理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。 私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
  論文  参考訳（メタデータ） (2021-02-09T13:58:33Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)
• Quantized Decentralized Stochastic Learning over Directed Graphs [52.94011236627326]
  有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。 モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。 本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-23T18:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。