論文の概要: Locally Asynchronous Stochastic Gradient Descent for Decentralised Deep Learning

• arxiv url: http://arxiv.org/abs/2203.13085v1
• Date: Thu, 24 Mar 2022 14:25:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 13:00:17.352016
• Title: Locally Asynchronous Stochastic Gradient Descent for Decentralised Deep Learning
• Title（参考訳）: 分散型深層学習のための局所的非同期確率勾配決定
• Authors: Tomer Avidor, Nadav Tal Israel
• Abstract要約: Local Asynchronous SGD (LASGD) は、モデル同期にAll Reduceに依存する非同期分散アルゴリズムである。 ImageNetデータセット上の画像分類タスクにおいて、LASGDの性能を実証的に検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed training algorithms of deep neural networks show impressive convergence speedup properties on very large problems. However, they inherently suffer from communication related slowdowns and communication topology becomes a crucial design choice. Common approaches supported by most machine learning frameworks are: 1) Synchronous decentralized algorithms relying on a peer-to-peer All Reduce topology that is sensitive to stragglers and communication delays. 2) Asynchronous centralised algorithms with a server based topology that is prone to communication bottleneck. Researchers also suggested asynchronous decentralized algorithms designed to avoid the bottleneck and speedup training, however, those commonly use inexact sparse averaging that may lead to a degradation in accuracy. In this paper, we propose Local Asynchronous SGD (LASGD), an asynchronous decentralized algorithm that relies on All Reduce for model synchronization. We empirically validate LASGD's performance on image classification tasks on the ImageNet dataset. Our experiments demonstrate that LASGD accelerates training compared to SGD and state of the art gossip based approaches.
• Abstract（参考訳）: ディープニューラルネットワークの分散トレーニングアルゴリズムは、非常に大きな問題に対して顕著な収束速度特性を示す。 しかし、それらは本質的に通信関連の遅延に悩まされ、通信トポロジが重要な設計選択となる。 ほとんどの機械学習フレームワークでサポートされている一般的なアプローチは 1)ピアツーピアに依存する同期分散アルゴリズムは、ストラグラーや通信遅延に敏感なトポロジーを全て減少させる。 2) 通信ボトルネックが発生しやすいサーバベースのトポロジを持つ非同期集中型アルゴリズム。 また、ボトルネックやスピードアップのトレーニングを避けるために設計された非同期分散アルゴリズムも提案されている。 本稿では,モデル同期のすべての削減に依存する,非同期分散アルゴリズムであるlocal asynchronous sgd (lasgd)を提案する。 ImageNetデータセット上の画像分類タスクにおいて、LASGDの性能を実証的に検証する。 実験の結果, LASGDはSGDと比較して訓練を加速し, ゴシップベースアプローチの状況も改善した。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Queuing dynamics of asynchronous Federated Learning [15.26212962081762]
  計算速度の異なるノードを用いた非同期フェデレーション学習機構について検討する。 本稿では、より複雑な遅延を低減できる中央サーバのための一様でないサンプリング方式を提案する。 画像分類問題に対する現状の非同期アルゴリズムよりも,提案手法の大幅な改善が明らかとなった。
  論文  参考訳（メタデータ） (2024-02-12T18:32:35Z)
• Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity [85.92481138826949]
  我々は,従来の集中型手法の時間的複雑さを確実に改善する新しい手法であるShadowheart SGDを開発した。 また、サーバからワーカーへのブロードキャストが無視できない双方向設定も検討し、対応する方法を開発した。
  論文  参考訳（メタデータ） (2024-02-07T12:15:56Z)
• Asynchronous SGD on Graphs: a Unified Framework for Asynchronous Decentralized and Federated Optimization [13.119144971868632]
  本稿では,グラフ上での非同期SGD(AGRAF SGD)について紹介する。 従来の分散非同期計算処理よりも遥かに穏やかな仮定の下で収束率を提供する。
  論文  参考訳（メタデータ） (2023-11-01T11:58:16Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• DIGEST: Fast and Communication Efficient Decentralized Learning with Local Updates [4.3707341422218215]
  広く検討されている分散学習アルゴリズムは、Gossipとランダムウォークベースの学習である。 高速で通信効率のよい非同期分散学習機構DIGESTを設計する。 我々は、ロジスティック回帰とディープニューラルネットワークResNet20のためのシングルストリームおよびマルチストリームDIGESTの性能を評価する。
  論文  参考訳（メタデータ） (2023-07-14T22:58:20Z)
• $\textbf{A}^2\textbf{CiD}^2$: Accelerating Asynchronous Communication in Decentralized Deep Learning [0.0]
  このアルゴリズムは、$textbfA2textbfCiD2$という連続的な局所運動量のおかげで動作する。 我々の理論解析は、以前の非同期分散ベースラインと比較して加速速度を証明している。 我々は、最大64の非同期ワーカーを使用して、ImageNetデータセットに一貫した改善を示す。
  論文  参考訳（メタデータ） (2023-06-14T06:52:07Z)
• Decentralized Optimization with Heterogeneous Delays: a Continuous-Time Approach [6.187780920448871]
  非同期アルゴリズムを解析するための新しい連続時間フレームワークを提案する。 我々は,スムーズな凸関数と強い凸関数の和を最小化するために,完全に非同期な分散アルゴリズムを記述する。
  論文  参考訳（メタデータ） (2021-06-07T13:09:25Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。