論文の概要: Local SGD: Unified Theory and New Efficient Methods
- arxiv url: http://arxiv.org/abs/2011.02828v1
- Date: Tue, 3 Nov 2020 13:02:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 05:36:44.041242
- Title: Local SGD: Unified Theory and New Efficient Methods
- Title（参考訳）: 局所SGD:統一理論と新しい効率的な方法
- Authors: Eduard Gorbunov, Filip Hanzely, Peter Richt\'arik
- Abstract要約: 本稿では,局所的なSGD手法を凸型および強凸型で解析するための統一的なフレームワークを提案する。
我々は,データ均一性や他の強い仮定を必要としない,線形収束型局所SGD法を開発した。
- 参考スコア（独自算出の注目度）: 8.701566919381223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a unified framework for analyzing local SGD methods in the convex
and strongly convex regimes for distributed/federated training of supervised
machine learning models. We recover several known methods as a special case of
our general framework, including Local-SGD/FedAvg, SCAFFOLD, and several
variants of SGD not originally designed for federated learning. Our framework
covers both the identical and heterogeneous data settings, supports both random
and deterministic number of local steps, and can work with a wide array of
local stochastic gradient estimators, including shifted estimators which are
able to adjust the fixed points of local iterations for faster convergence. As
an application of our framework, we develop multiple novel FL optimizers which
are superior to existing methods. In particular, we develop the first linearly
converging local SGD method which does not require any data homogeneity or
other strong assumptions.
- Abstract（参考訳）: 本稿では,教師付き機械学習モデルの分散/フェデレートトレーニングのための,凸型および強凸型の局所的なSGD手法を解析するための統一フレームワークを提案する。
我々は、Local-SGD/FedAvg、SCAFFOLDなどの一般的なフレームワークの特殊なケースとして、いくつかの既知のメソッドを復元する。
このフレームワークは、同一データと異種データの両方をカバーし、ランダムおよび決定論的数の両方のローカルステップをサポートし、より高速な収束のために局所反復の固定点を調整できるシフト推定器を含む、幅広い局所確率勾配推定器で動作する。
本フレームワークの適用例として,既存の手法よりも優れた新しいFLオプティマイザを複数開発する。
特に、データ同質性や他の強い仮定を必要としない最初の線形収束型局所sgd法を開発した。
関連論文リスト
- Stability and Generalization for Distributed SGDA [70.97400503482353]
分散SGDAのための安定性に基づく一般化分析フレームワークを提案する。
我々は, 安定性の誤差, 一般化ギャップ, 人口リスクの包括的分析を行う。
理論的結果から,一般化ギャップと最適化誤差のトレードオフが明らかになった。
論文 参考訳（メタデータ） (2024-11-14T11:16:32Z) - FedHB: Hierarchical Bayesian Federated Learning [11.936836827864095]
フェデレートラーニング(FL)に対する新しい階層的ベイズ的アプローチを提案する。
本モデルは階層ベイズモデルを用いてクライアントの局所データの生成過程を合理的に記述する。
ブロック座標FLアルゴリズムは、O(sqrtt)$の速度で目的の最適値に収束することを示す。
論文 参考訳（メタデータ） (2023-05-08T18:21:41Z) - SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex
Optimization [12.709177728330399]
我々は,2つの主要な分散ベースラインであるMinibatch-SGDとLocal-SGDに対して有益であることを示す,最初のローカル更新手法を設計する。
このアプローチの鍵となるのは、分散設定をカスタマイズする遅いクエリ技術です。
論文 参考訳（メタデータ） (2023-04-09T06:10:49Z) - Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient
Methods [73.35353358543507]
SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。
本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。
本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
論文 参考訳（メタデータ） (2022-02-15T09:17:39Z) - Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD
for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
ローカル手法は通信時間を短縮する有望なアプローチの1つである。
局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-02-12T15:12:17Z) - Distributed and Stochastic Optimization Methods with Gradient
Compression and Local Steps [0.0]
本稿では,誤差補償と局所的な更新を伴う解析および分散手法に関する理論的枠組みを提案する。
線形収束型Error-pensated法と分散型Local-SGD法を含む20以上の新しい最適化手法を開発した。
論文 参考訳（メタデータ） (2021-12-20T16:12:54Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳（メタデータ） (2021-05-26T18:07:19Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z) - From Local SGD to Local Fixed-Point Methods for Federated Learning [17.04886864943171]
分散環境で,演算子の平均点の固定点,あるいは近似を求めるという一般的な問題を考える。
このようなコンセンサスを達成するための2つの戦略について検討する。一方は局所的なステップの固定数に基づくもので、もう一方はランダム化された計算に基づくものである。
論文 参考訳（メタデータ） (2020-04-03T09:24:10Z) - A Unified Theory of Decentralized SGD with Changing Topology and Local
Updates [70.9701218475002]
分散通信方式の統一収束解析を導入する。
いくつかの応用に対して普遍収束率を導出する。
私たちの証明は弱い仮定に依存している。
論文 参考訳（メタデータ） (2020-03-23T17:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。