Fugu-MT 論文翻訳(概要): OSP: Boosting Distributed Model Training with 2-stage Synchronization

論文の概要: OSP: Boosting Distributed Model Training with 2-stage Synchronization

arxiv url: http://arxiv.org/abs/2306.16926v2
Date: Sun, 9 Jul 2023 16:36:43 GMT
ステータス: 処理完了
システム内更新日: 2023-07-11 21:35:40.302229
Title: OSP: Boosting Distributed Model Training with 2-stage Synchronization
Title（参考訳）: OSP: 2段階同期による分散モデルトレーニングの強化
Authors: Zixuan Chen, Lei Shi, Xuandong Liu, Jiahui Li, Sen Liu, Yang Xu
Abstract要約: オーバーラップ並列化(OSP)と呼ばれる新しいモデル同期手法を提案する。 OSPは2段階同期方式で効率的な通信を実現し、Local-Gradientベースを使用する。古いパラメータによる精度損失を避けるための修正(LGP)。その結果、OSPは、一般的な同期モデルと比較して、精度を損なうことなく、最大50%のスループット向上を達成できることがわかった。
参考スコア（独自算出の注目度）: 24.702780532364056
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Distributed deep learning (DDL) is a promising research area, which aims to increase the efficiency of training deep learning tasks with large size of datasets and models. As the computation capability of DDL nodes continues to increase, the network connection between nodes is becoming a major bottleneck. Various methods of gradient compression and improved model synchronization have been proposed to address this bottleneck in Parameter-Server-based DDL. However, these two types of methods can result in accuracy loss due to discarded gradients and have limited enhancement on the throughput of model synchronization, respectively. To address these challenges, we propose a new model synchronization method named Overlapped Synchronization Parallel (OSP), which achieves efficient communication with a 2-stage synchronization approach and uses Local-Gradient-based Parameter correction (LGP) to avoid accuracy loss caused by stale parameters. The prototype of OSP has been implemented using PyTorch and evaluated on commonly used deep learning models and datasets with a 9-node testbed. Evaluation results show that OSP can achieve up to 50\% improvement in throughput without accuracy loss compared to popular synchronization models.
Abstract（参考訳）: 分散ディープラーニング(DDL)は、データセットとモデルの大きなサイズでディープラーニングタスクをトレーニングする効率を高めることを目的とした、有望な研究分野である。 DDLノードの計算能力が向上し続けており、ノード間のネットワーク接続が大きなボトルネックとなっている。パラメータサーバベースのDDLにおいて、このボトルネックに対処するために、勾配圧縮の様々な手法とモデル同期の改善が提案されている。しかし、これら2つの手法は、廃棄された勾配による精度の損失を生じさせ、それぞれモデル同期のスループットを低下させる可能性がある。これらの課題に対処するために,2段階同期方式による効率的な通信を実現し,局所勾配パラメータ補正 (lgp) を用いて,staleパラメータによる精度損失を回避する新しいモデル同期法,ospを提案する。 OSPのプロトタイプはPyTorchを使用して実装され、9ノードテストベッドで一般的に使用されるディープラーニングモデルとデータセットで評価されている。評価の結果,OSPは一般的な同期モデルと比較して,精度の低下を伴わずに最大50%のスループット向上を実現可能であることがわかった。

関連論文リスト

Truncated Consistency Models [57.50243901368328]
トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
論文参考訳（メタデータ） (2024-10-18T22:38:08Z)
Boosting Asynchronous Decentralized Learning with Model Fragmentation [1.6053176639259055]
DivShareは通信ストラグラーの存在下で高速なモデル収束を実現する新しいDLアルゴリズムである。我々はDivShareを、AD-PSGDとSwiftの2つの最先端DLベースラインに対して実験的に評価した。 CIFAR-10データセットのAD-PSGDと比較して、通信ストラグラーを持つDivShareは、時間と精度を最大3.9倍下げることがわかった。
論文参考訳（メタデータ） (2024-10-16T18:03:52Z)
FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文参考訳（メタデータ） (2024-10-16T16:13:19Z)
Asynchronous Stochastic Gradient Descent with Decoupled Backpropagation and Layer-Wise Updates [1.9241821314180372]
バックプロパゲーションの大きな欠点の1つは、アルゴリズムの前方フェーズと後方フェーズの間のインターロックである。本稿では,複数のスレッドから非同期に更新することで,モデルのレイヤ間でSGD更新を並列化する手法を提案する。このアプローチは、Hongwild!よりも最大2.97倍高速で複数のデバイスでスケールしながら、最先端の結果に近い結果が得られることを示す。
論文参考訳（メタデータ） (2024-10-08T12:32:36Z)
FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental Regularization [5.182014186927254]
大規模Deep Neural Networks(DNN)の分散トレーニングと推論にFL(Federated Learning)が成功している。我々は、(i)動的プルーニングとエラーフィードバックを組み合わせて冗長な情報交換を排除する新しいFLフレームワーク(Coined FedDIP)にコントリビュートする。我々は、FedDIPの収束解析と総合的な性能について報告し、最先端手法との比較評価を行う。
論文参考訳（メタデータ） (2023-09-13T08:51:19Z)
Design and Prototyping Distributed CNN Inference Acceleration in Edge Computing [85.74517957717363]
HALPはエッジコンピューティングにおけるエッジデバイス(ED)間のシームレスなコラボレーションを設計することで推論を加速する。実験により、分散推論HALPはVGG-16に対して1.7倍の推論加速を達成することが示された。分散推論HALPを用いたモデル選択は,サービスの信頼性を著しく向上させることができる。
論文参考訳（メタデータ） (2022-11-24T19:48:30Z)
Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
論文参考訳（メタデータ） (2021-11-26T18:44:59Z)
HPSGD: Hierarchical Parallel SGD With Stale Gradients Featuring [18.8426865970643]
ディープニューラルネットワーク(DNN)の分散トレーニングプロセスを促進するために,新しい階層型並列SGD(HPSGD)戦略を提案する。提案手法が分散DNNトレーニングを大幅に促進し, 定常勾配の乱れを低減し, 固定壁面の精度を向上することを示す実験を行った。
論文参考訳（メタデータ） (2020-09-06T10:17:56Z)
PSO-PS: Parameter Synchronization with Particle Swarm Optimization for Distributed Training of Deep Neural Networks [16.35607080388805]
我々はディープニューラルネットワーク(DNN)の分散トレーニングプロセスにParticle Swarm Optimizationを統合する新しいアルゴリズムを提案する。提案アルゴリズムでは,粒子によって計算処理を符号化し,DNNの重みとトレーニング損失を粒子特性によってモデル化する。各同期段階では、重みや勾配を平均化する代わりに、すべての労働者から集められたサブウェイトからPSOによって重みが更新される。
論文参考訳（メタデータ） (2020-09-06T05:18:32Z)
Scaling Distributed Deep Learning Workloads beyond the Memory Capacity with KARMA [58.040931661693925]
冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
論文参考訳（メタデータ） (2020-08-26T07:24:34Z)
Recent Developments Combining Ensemble Smoother and Deep Generative Networks for Facies History Matching [58.720142291102135]
本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
論文参考訳（メタデータ） (2020-05-08T21:32:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。