論文の概要: Elastic Bulk Synchronous Parallel Model for Distributed Deep Learning

• arxiv url: http://arxiv.org/abs/2001.01347v1
• Date: Mon, 6 Jan 2020 01:05:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 02:09:56.958621
• Title: Elastic Bulk Synchronous Parallel Model for Distributed Deep Learning
• Title（参考訳）: 分散ディープラーニングのための弾性バルク同期並列モデル
• Authors: Xing Zhao, Manos Papagelis, Aijun An, Bao Xin Chen, Junfeng Liu, Yonggang Hu
• Abstract要約: 提案モデルでは、トレーニング期間中に、トレーニングモデルの精度を犠牲にすることなく、より柔軟性と適応性を提供する。 実験により,提案したELASTICBSPモデルは従来のBSPよりも高速かつ高精度に収束することが確認された。
• 参考スコア（独自算出の注目度）: 17.798727574458514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The bulk synchronous parallel (BSP) is a celebrated synchronization model for general-purpose parallel computing that has successfully been employed for distributed training of machine learning models. A prevalent shortcoming of the BSP is that it requires workers to wait for the straggler at every iteration. To ameliorate this shortcoming of classic BSP, we propose ELASTICBSP a model that aims to relax its strict synchronization requirement. The proposed model offers more flexibility and adaptability during the training phase, without sacrificing on the accuracy of the trained model. We also propose an efficient method that materializes the model, named ZIPLINE. The algorithm is tunable and can effectively balance the trade-off between quality of convergence and iteration throughput, in order to accommodate different environments or applications. A thorough experimental evaluation demonstrates that our proposed ELASTICBSP model converges faster and to a higher accuracy than the classic BSP. It also achieves comparable (if not higher) accuracy than the other sensible synchronization models.
• Abstract（参考訳）: バルク同期並列 (BSP) は汎用並列コンピューティングのための有名な同期モデルであり、機械学習モデルの分散トレーニングに成功している。 BSPの最大の欠点は、各イテレーションで作業員がストラグラーを待つ必要があることだ。 古典的BSPのこの欠点を改善するために,厳密な同期要求を緩和するモデルであるELASTICBSPを提案する。 提案手法は, モデルの精度を犠牲にすることなく, 訓練段階での柔軟性と適応性を高める。 また,ZIPLINEというモデルを実現する効率的な手法を提案する。 このアルゴリズムは調整可能で、異なる環境やアプリケーションに対応するために、コンバージェンスの品質とイテレーションスループットの間のトレードオフを効果的にバランスさせることができる。 実験により,提案したELASTICBSPモデルは従来のBSPよりも高速かつ高精度に収束することが確認された。 また、他の有能な同期モデルと同等の精度(高くないにせよ)を達成している。

関連論文リスト

• FedAST: Federated Asynchronous Simultaneous Training [27.492821176616815]
  フェデレートラーニング(FL)は、デバイスやクライアントがプライベートデータを共有せずに機械学習(ML)モデルを協調的にトレーニングすることを可能にする。 FLにおける既存の作業の多くは、1つのタスクのモデルを効率的に学習することに集中しています。 本稿では,共通データセットを用いた複数のFLモデルの同時学習を提案する。
  論文  参考訳（メタデータ） (2024-06-01T05:14:20Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Federated Learning based on Pruning and Recovery [0.0]
  このフレームワークは非同期学習アルゴリズムとプルーニング技術を統合している。 異種デバイスを含むシナリオにおいて、従来のフェデレーション学習アルゴリズムの非効率性に対処する。 また、非同期アルゴリズムで特定のクライアントの不安定な問題や不適切なトレーニングにも取り組みます。
  論文  参考訳（メタデータ） (2024-03-16T14:35:03Z)
• OSP: Boosting Distributed Model Training with 2-stage Synchronization [24.702780532364056]
  オーバーラップ並列化(OSP)と呼ばれる新しいモデル同期手法を提案する。 OSPは2段階同期方式で効率的な通信を実現し、Local-Gradientベースを使用する。 古いパラメータによる精度損失を避けるための修正(LGP)。 その結果、OSPは、一般的な同期モデルと比較して、精度を損なうことなく、最大50%のスループット向上を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-06-29T13:24:12Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• SWARM Parallelism: Training Large Models Can Be Surprisingly Communication-Efficient [69.61083127540776]
  ディープラーニングアプリケーションは、数十億のパラメータを持つ大きなモデルを使用することの恩恵を受ける。 これらのモデルのトレーニングは、特殊なHPCクラスタを必要とするため、非常に高価である。 安価な"プリエンプティブル"インスタンスを使用するか、あるいは複数のリージョンから既存のリソースをプールする。
  論文  参考訳（メタデータ） (2023-01-27T18:55:19Z)
• Stochastic Coded Federated Learning: Theoretical Analysis and Incentive Mechanism Design [18.675244280002428]
  我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。 SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。 SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-11-08T09:58:36Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning [72.78668894576515]
  Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。 本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-23T18:57:08Z)
• Elastic Consistency: A General Consistency Model for Distributed Stochastic Gradient Descent [28.006781039853575]
  近年の機械学習の進歩を支える重要な要素は、大規模な分散メモリ環境で機械学習モデルをトレーニングする能力である。 本稿では,大規模機械学習モデルの学習に使用される一般収束手法を提案する。 我々のフレームワークは弾性弾性境界と呼ばれ、様々な分散SGD法に対する収束境界を導出することができる。
  論文  参考訳（メタデータ） (2020-01-16T16:10:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。