論文の概要: The Role of Local Steps in Local SGD

• arxiv url: http://arxiv.org/abs/2203.06798v1
• Date: Mon, 14 Mar 2022 00:54:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-15 17:44:17.197918
• Title: The Role of Local Steps in Local SGD
• Title（参考訳）: 局所SGDにおける局所ステップの役割
• Authors: Tiancheng Qin, S. Rasoul Etesami, C\'esar A. Uribe
• Abstract要約: 我々は,$n$エージェントが局所関数の和から与えられる大域関数を求める分散最適化問題を考察する。 本研究では,ローカルSGDの通信複雑性の収束状態に及ぼす効果について検討する。
• 参考スコア（独自算出の注目度）: 2.3572498744567123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the distributed stochastic optimization problem where $n$ agents want to minimize a global function given by the sum of agents' local functions. We focus on the heterogeneous setting when agents' local functions are defined over non-i.i.d. data sets and assume that agents have access to the global function through noisy gradients of their local functions. We study the Local SGD method, where agents perform a number of local stochastic gradient steps and occasionally communicate with a central node to improve their local optimization tasks. We analyze the effect of local steps on the convergence rate and the communication complexity of Local SGD. Existing literature assumes a fixed number of local steps across all communication rounds. However, we allow the number of local steps during the $i$-th communication round, denoted by $H_i$, to be arbitrary. Our main contribution is to characterize the convergence rate of Local SGD as a function of $\{H_i\}_{i=1}^R$ under various settings of strongly convex, convex, and nonconvex local functions, where $R$ is the total number of communication rounds. Based on this characterization, we provide sufficient conditions on the sequence $\{H_i\}_{i=1}^R$ such that Local SGD can achieve linear speed-up with respect to the number of workers. Furthermore, we propose a new communication strategy with increasing local steps superior to existing communication strategies for strongly convex local functions. On the other hand, for convex and nonconvex local functions, we argue that fixed local steps are the best communication strategy for Local SGD and recover state-of-the-art convergence rate results. Finally, we justify our theoretical results through extensive numerical experiments.
• Abstract（参考訳）: n$エージェントがエージェントの局所関数の総和によって与えられるグローバル関数を最小化しようとする分散確率最適化問題を考える。 エージェントの局所関数が非i.i.d.データセット上で定義される場合のヘテロジニアス設定に注目し、エージェントがローカル関数のノイズ勾配を通じてグローバル関数にアクセスすることを仮定する。 エージェントが複数の局所確率勾配ステップを実行し、時には中央ノードと通信して局所最適化タスクを改善するローカルSGD法について検討する。 局所的なステップが局所的なSGDの収束率と通信複雑性に与える影響を解析する。 既存の文献では、すべての通信ラウンドで一定の数のローカルステップが想定されている。 しかし、$i$-th通信ラウンドにおいて、$H_i$と表記されるローカルステップの数を任意にすることができる。 我々の主な貢献は、局所sgdの収束率を、強凸、凸、非凸の各局所関数の様々な設定下での$\{h_i\}_{i=1}^r$の関数として特徴づけることであり、ここでは$r$は通信ラウンドの総数である。 この特徴に基づいて、局所的なSGDが労働者数に関して線形スピードアップを達成できるように、$\{H_i\}_{i=1}^R$の列に十分な条件を与える。 さらに, 強凸局所関数に対して, 既存の通信戦略に優る局所ステップを増加させる新しい通信戦略を提案する。 一方,凸局所関数と非凸局所関数では,固定局所ステップは局所sgdにとって最善の通信戦略であり,最先端収束率を回復するものである。 最後に, 広範な数値実験により, 理論結果を正当化する。

関連論文リスト

• Stability and Generalization for Distributed SGDA [70.97400503482353]
  分散SGDAのための安定性に基づく一般化分析フレームワークを提案する。 我々は, 安定性の誤差, 一般化ギャップ, 人口リスクの包括的分析を行う。 理論的結果から,一般化ギャップと最適化誤差のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2024-11-14T11:16:32Z)
• Communication-Efficient Federated Group Distributionally Robust Optimization [49.14751984342068]
  フェデレーション学習は、異なるクライアントにおけるデータボリュームと分散の不均一性のために、課題に直面します。 グループ分散ロバスト最適化(GDRO)に基づいてこの問題に対処するための既存のアプローチは、しばしば高い通信とサンプルの複雑さをもたらす。 本研究では, 通信効率の高いFederated Group Distributionally Robust Optimizationに適したアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-08T21:07:53Z)
• FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
  フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。 これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
  論文  参考訳（メタデータ） (2023-02-21T03:55:29Z)
• On the Performance of Gradient Tracking with Local Updates [10.14746251086461]
  LU-GTは通信品質は同じであるが、任意のネットワークトポロジが可能であることを示す。 数値的な例では、局所的な更新は特定のレシエーションにおける通信コストを低下させる可能性がある。
  論文  参考訳（メタデータ） (2022-10-10T15:13:23Z)
• A Communication-efficient Algorithm with Linear Convergence for Federated Minimax Learning [1.713291434132985]
  GAN(Geneimation Adversarial Networks)をモデル化した大規模マルチエージェントミニマックス最適化問題について検討する。 全体的な目的は、エージェントのプライベートなローカルな目的関数の総和である。 我々は,FedGDA-GTが,大域的な$epsilon GDA解に一定のステップサイズで線形収束することを示した。
  論文  参考訳（メタデータ） (2022-06-02T16:31:16Z)
• Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
  ローカル手法は通信時間を短縮する有望なアプローチの1つである。 局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-12T15:12:17Z)
• An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot Learning [77.72330187258498]
  エントロピー誘導強化部分畳み込みネットワーク(ERPCNet)を提案する。 ERPCNetは、人間のアノテーションのない意味的関連性と視覚的相関に基づいて、局所性を抽出し、集約する。 グローバルな協力的局所性を動的に発見するだけでなく、ポリシー勾配最適化のためにより高速に収束する。
  論文  参考訳（メタデータ） (2021-11-03T11:13:13Z)
• Local SGD: Unified Theory and New Efficient Methods [8.701566919381223]
  本稿では,局所的なSGD手法を凸型および強凸型で解析するための統一的なフレームワークを提案する。 我々は,データ均一性や他の強い仮定を必要としない,線形収束型局所SGD法を開発した。
  論文  参考訳（メタデータ） (2020-11-03T13:02:50Z)
• From Local SGD to Local Fixed-Point Methods for Federated Learning [17.04886864943171]
  分散環境で,演算子の平均点の固定点,あるいは近似を求めるという一般的な問題を考える。 このようなコンセンサスを達成するための2つの戦略について検討する。一方は局所的なステップの固定数に基づくもので、もう一方はランダム化された計算に基づくものである。
  論文  参考訳（メタデータ） (2020-04-03T09:24:10Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。