論文の概要: Minibatch vs Local SGD for Heterogeneous Distributed Learning

• arxiv url: http://arxiv.org/abs/2006.04735v5
• Date: Tue, 1 Mar 2022 09:30:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 01:24:30.202864
• Title: Minibatch vs Local SGD for Heterogeneous Distributed Learning
• Title（参考訳）: 異種分散学習のためのミニバッチ対ローカルsgd
• Authors: Blake Woodworth, Kumar Kshitij Patel, Nathan Srebro
• Abstract要約: この環境では、Minibatch SGDがLocal SGDの既存の分析を全て支配していると論じる。 非均一な状態下で, ミニバッチSGDよりも改善された局所SGDの第一上界を示す。
• 参考スコア（独自算出の注目度）: 28.80878557506603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We analyze Local SGD (aka parallel or federated SGD) and Minibatch SGD in the heterogeneous distributed setting, where each machine has access to stochastic gradient estimates for a different, machine-specific, convex objective; the goal is to optimize w.r.t. the average objective; and machines can only communicate intermittently. We argue that, (i) Minibatch SGD (even without acceleration) dominates all existing analysis of Local SGD in this setting, (ii) accelerated Minibatch SGD is optimal when the heterogeneity is high, and (iii) present the first upper bound for Local SGD that improves over Minibatch SGD in a non-homogeneous regime.
• Abstract（参考訳）: 異種分散環境でのローカルSGD(別名パラレルまたはフェデレートSGD)とミニバッチSGDを解析し、各マシンが異なるマシン固有の凸目標に対して確率勾配推定値にアクセスできるようにし、平均目標値w.r.tを最適化し、機械が断続的に通信することを目的とする。 私たちはそれを議論する。 (i)小バッチSGD(加速なしでも)は、この設定における局所SGDの既存の分析を全て支配する。 (ii)加速ミニバッチSGDは不均一度が高く、かつ最適である (iii) 局所的なsgdに対する最初の上界は、非均質な状態においてミニバッチsgdよりも改善される。

関連論文リスト

• The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication [37.210933391984014]
  ローカルSGDは分散学習において一般的な最適化手法であり、実際には他のアルゴリズムよりも優れていることが多い。 我々は、既存の一階データ不均一性仮定の下で、局所的なSGDに対して新しい下界を提供する。 また、いくつかの問題クラスに対して、高速化されたミニバッチSGDの min-max 最適性を示す。
  論文  参考訳（メタデータ） (2024-05-19T20:20:03Z)
• Stability and Generalization for Minibatch SGD and Local SGD [46.45496260281998]
  ミニバッチ勾配降下(ミニバッチSGD)と局所SGDは並列最適化の2つの一般的な方法である。 本研究では,ミニバッチと局所SGDの安定性と一般化解析を行い,学習性について考察した。 最適リスク境界を達成するために,ミニバッチと局所SGDの両方が線形スピードアップを達成することを示す。
  論文  参考訳（メタデータ） (2023-10-02T12:26:51Z)
• Decentralized SGD and Average-direction SAM are Asymptotically Equivalent [101.37242096601315]
  分散勾配降下(D-SGD)は、中央サーバを制御せずに大規模デバイス上で協調学習を可能にする。 既存の理論では、分散化は必ず一般化される。
  論文  参考訳（メタデータ） (2023-06-05T14:19:52Z)
• SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization [12.709177728330399]
  我々は,2つの主要な分散ベースラインであるMinibatch-SGDとLocal-SGDに対して有益であることを示す,最初のローカル更新手法を設計する。 このアプローチの鍵となるのは、分散設定をカスタマイズする遅いクエリ技術です。
  論文  参考訳（メタデータ） (2023-04-09T06:10:49Z)
• SGDA with shuffling: faster convergence for nonconvex-P{\L} minimax optimization [18.668531108219415]
  逐次降下勾配(SGDA)を用いた最小最適化問題に対する理論的アプローチを提案する。 我々は,ポリアック・ロジャシエヴィチ(PL)幾何を用いて,非凹凸対象に対するSGDA-LLの同時的および交互的目的を解析した。 我々のレートはミニバッチGDARRにも拡張され、完全な勾配勾配降下勾配 (GDA) の既知率はほとんど回復しない。 最後に, 2 時間スケール GDA の包括的下限について述べる。
  論文  参考訳（メタデータ） (2022-10-12T08:05:41Z)
• Differentially Private SGDA for Minimax Problems [83.57322009102973]
  本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。 これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
  論文  参考訳（メタデータ） (2022-01-22T13:05:39Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)
• Is Local SGD Better than Minibatch SGD? [60.42437186984968]
  凸設定における既存のエラー保証はすべて、単純なベースラインであるミニバッチSGDによって支配されていることを示す。 局所的なSGDがミニバッチSGDの保証よりも悪い局所的なSGDの性能に低いバウンダリを提示することで、実際に局所的なSGDが支配的でないことを示す。
  論文  参考訳（メタデータ） (2020-02-18T19:22:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。