論文の概要: HetSyn: Speeding Up Local SGD with Heterogeneous Synchronization

• arxiv url: http://arxiv.org/abs/2210.03521v1
• Date: Thu, 6 Oct 2022 08:04:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 15:18:14.156178
• Title: HetSyn: Speeding Up Local SGD with Heterogeneous Synchronization
• Title（参考訳）: HetSyn: 異種同期による局所SGDの高速化
• Authors: Feng Zhu, Jingjing Zhang and Xin Wang
• Abstract要約: HetSynは、ストラグラーを緩和し、通信効率を向上させるための戦略である。 HetSynは時間と通信効率の両方で大幅に改善されている。
• 参考スコア（独自算出の注目度）: 14.526055067546507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synchronous local stochastic gradient descent (local SGD) suffers from some workers being idle and random delays due to slow and straggling workers, as it waits for the workers to complete the same amount of local updates. In this paper, to mitigate stragglers and improve communication efficiency, a novel local SGD strategy, named HetSyn, is developed. The key point is to keep all the workers computing continually at each synchronization round, and make full use of any effective (completed) local update of each worker regardless of stragglers. An analysis of the average wall-clock time, average number of local updates and average number of uploading workers per round is provided to gauge the performance of HetSyn. The convergence of HetSyn is also rigorously established even when the objective function is nonconvex. Experimental results show the superiority of the proposed HetSyn against state-of-the-art schemes through utilization of additional effective local updates at each worker, and the influence of system parameters is studied. By allowing heterogeneous synchronization with different numbers of local updates across workers, HetSyn provides substantial improvements both in time and communication efficiency.
• Abstract（参考訳）: 同期的な局所確率勾配降下(ローカルSGD)は、労働者が同じ局所的な更新を完了するのを待つため、一部の労働者がアイドル状態とランダムな遅延に悩まされる。 本稿では,ストラグラーを緩和し,通信効率を向上させるため,HetSynという新たなローカルSGD戦略を開発した。 キーポイントは、すべてのワーカーが各同期ラウンドで継続的に計算し続け、ストラグラーに関係なく、各ワーカーの効果的な(完了した)ローカルアップデートをフル活用することである。 HetSynの性能を評価するため,壁面平均時間,局部平均更新数,1ラウンドあたりアップロード人員数の解析を行った。 HetSynの収束は、目的関数が凸でない場合でも厳密に確立される。 実験結果から, 作業者毎の局所的更新を有効活用することにより, 提案手法に対するHetSynの優位性を示し, システムパラメータの影響について検討した。 ワーカー間で異なるローカル更新数で異種同期を可能にすることで、HetSynは時間と通信効率の両方で大幅に改善される。

関連論文リスト

• Dual-Delayed Asynchronous SGD for Arbitrarily Heterogeneous Data [22.917944307972434]
  我々は、中央サーバのオーケストレーションの下で、複数のワーカにまたがるデータによる分散学習問題を考察する。 データ繰り返しの悪影響を考慮に入れたテキスト遅延非同期SGD(DuDe-ASGD)アルゴリズムを提案する。 DuDe-ASGDは非同期トレーニング中にすべてのワーカーからの静的な勾配をフルに利用し、モデルパラメータとサーバで使用されるデータサンプルに2つの時間ラグをもたらす。
  論文  参考訳（メタデータ） (2024-05-27T09:00:30Z)
• Freya PAGE: First Optimal Time Complexity for Large-Scale Nonconvex Finite-Sum Optimization with Heterogeneous Asynchronous Computations [92.1840862558718]
  実用的な分散システムでは、労働者は概して均質ではなく、非常に多様な処理時間を持つ。 本稿では、任意に遅い計算を扱うための新しい並列手法Freyaを提案する。 Freyaは従来の手法と比較して,複雑性の保証が大幅に向上していることを示す。
  論文  参考訳（メタデータ） (2024-05-24T13:33:30Z)
• Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity [85.92481138826949]
  我々は,従来の集中型手法の時間的複雑さを確実に改善する新しい手法であるShadowheart SGDを開発した。 また、サーバからワーカーへのブロードキャストが無視できない双方向設定も検討し、対応する方法を開発した。
  論文  参考訳（メタデータ） (2024-02-07T12:15:56Z)
• Asynchronous Local-SGD Training for Language Modeling [37.02427878640653]
  局所勾配降下(Local-SGD)は、各デバイスが通信毎に複数のSGD更新を行う分散最適化のアプローチである。 この研究は、言語モデルをトレーニングするための非同期ローカル-SGDについて実証的研究を行い、SGDのステップが完了した直後に、各ワーカーがグローバルパラメータを更新する。
  論文  参考訳（メタデータ） (2024-01-17T11:17:04Z)
• AsGrad: A Sharp Unified Analysis of Asynchronous-SGD Algorithms [45.90015262911875]
  不均一な環境で分散SGDのための非同期型アルゴリズムを解析する。 また,本分析の副産物として,ランダムなきついSGDのような勾配型アルゴリズムの保証を示す。
  論文  参考訳（メタデータ） (2023-10-31T13:44:53Z)
• Straggler-Resilient Decentralized Learning via Adaptive Asynchronous Updates [28.813671194939225]
  完全に分散化された最適化手法は、人気のあるパラメータサーバフレームワークに代わるものとして提唱されている。 本稿では、各労働者が通信する近隣労働者の数を適応的に決定することで、適応的な非同期更新を施した完全に分散化されたアルゴリズムを提案する。 DSGD-AAUは収束の線形高速化を実現し,その有効性を示す。
  論文  参考訳（メタデータ） (2023-06-11T02:08:59Z)
• FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
  フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。 これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
  論文  参考訳（メタデータ） (2023-02-21T03:55:29Z)
• Straggler-Resilient Distributed Machine Learning with Dynamic Backup Workers [9.919012793724628]
  作業者毎のバックアップ作業者数を決定するための完全分散アルゴリズムを提案する。 我々のアルゴリズムは収束の線形スピードアップを達成する(すなわち、労働者数に対して収束性能が線形に増加する)。
  論文  参考訳（メタデータ） (2021-02-11T21:39:53Z)
• Communication-Efficient Robust Federated Learning Over Heterogeneous Datasets [147.11434031193164]
  本研究では,データサンプルが不均一に作業者間で分散されている場合の耐障害性フェデレーション学習について検討する。 データセットを戦略的に破壊する可能性のある敵意的な欠陥のある労働者が存在する場合、交換されたローカルメッセージは信頼できない。 本研究は,Nesterovの加速技術に依存するフォールトレジリエント勾配(FRPG)アルゴリズムを提案する。 強い凸損失関数に対して、FRPGとLFRPGは、ベンチマークロバストな集約アルゴリズムよりも明らかに高速な収束率を持つ。
  論文  参考訳（メタデータ） (2020-06-17T16:50:33Z)
• Variance Reduced Local SGD with Lower Communication Complexity [52.44473777232414]
  本稿では,通信の複雑さをさらに軽減するために,分散化ローカルSGDを提案する。 VRL-SGDは、労働者が同一でないデータセットにアクセスしても、通信の複雑さが低い$O(Tfrac12 Nfrac32)$で、エンフラーイテレーションのスピードアップを達成する。
  論文  参考訳（メタデータ） (2019-12-30T08:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。