論文の概要: Server-Side Stepsizes and Sampling Without Replacement Provably Help in Federated Optimization

• arxiv url: http://arxiv.org/abs/2201.11066v1
• Date: Wed, 26 Jan 2022 17:26:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 14:42:41.325295
• Title: Server-Side Stepsizes and Sampling Without Replacement Provably Help in Federated Optimization
• Title（参考訳）: サーバサイドのステップ化とサンプリングがフェデレーション最適化に役立つ
• Authors: Grigory Malinovsky, Konstantin Mishchenko and Peter Richt\'arik
• Abstract要約: 本稿では,クライアント更新のフェデレーション学習に関する理論的研究を行う。 特に、ローカライズが小さくなると、すべてのクライアントに対してアップデートを行うことができることを証明しています。 また,サーバ側ステップサイズを小さくすることで,クライアントサンプリングのノイズを制御できることも証明した。
• 参考スコア（独自算出の注目度）: 6.935471115003109
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a theoretical study of server-side optimization in federated learning. Our results are the first to show that the widely popular heuristic of scaling the client updates with an extra parameter is very useful in the context of Federated Averaging (FedAvg) with local passes over the client data. Each local pass is performed without replacement using Random Reshuffling, which is a key reason we can show improved complexities. In particular, we prove that whenever the local stepsizes are small, and the update direction is given by FedAvg in conjunction with Random Reshuffling over all clients, one can take a big leap in the obtained direction and improve rates for convex, strongly convex, and non-convex objectives. In particular, in non-convex regime we get an enhancement of the rate of convergence from $\mathcal{O}\left(\varepsilon^{-3}\right)$ to $\mathcal{O}\left(\varepsilon^{-2}\right)$. This result is new even for Random Reshuffling performed on a single node. In contrast, if the local stepsizes are large, we prove that the noise of client sampling can be controlled by using a small server-side stepsize. To the best of our knowledge, this is the first time that local steps provably help to overcome the communication bottleneck. Together, our results on the advantage of large and small server-side stepsizes give a formal justification for the practice of adaptive server-side optimization in federated learning. Moreover, we consider a variant of our algorithm that supports partial client participation, which makes the method more practical.
• Abstract（参考訳）: 本稿では,フェデレート学習におけるサーバサイド最適化の理論的検討を行う。 我々の結果は、クライアントデータのローカルパスを伴うフェデレーション平均化(FedAvg)のコンテキストにおいて、クライアント更新を余分なパラメータでスケーリングするという広く普及しているヒューリスティックが非常に有用であることを示す最初のものです。 各ローカルパスはRandom Reshufflingを使って置き換えることなく実行される。 特に,局所的なステップサイズが小さく,FedAvgがすべてのクライアントに対してRandom Reshufflingと連動して更新方向を与えると,得られた方向を大きく飛躍させ,凸,強凸,非凸の目標に対する速度を改善することができる。 特に、非凸状態においては、$\mathcal{O}\left(\varepsilon^{-3}\right)$から$\mathcal{O}\left(\varepsilon^{-2}\right)$への収束率の増大が得られる。 この結果は、単一ノード上でランダムな再シャッフルを行う場合でも新しい。 対照的に、局所的なステップサイズが大きい場合、小さなサーバ側ステップサイズを用いてクライアントサンプリングのノイズを制御することができる。 私たちの知る限りでは、ローカルなステップがコミュニケーションのボトルネックを克服するのに役立つのは、これが初めてです。 共用学習における適応型サーバサイド最適化の実践について,大小のサーバサイドステップの利点を活かし,形式的な正当性を与える。 さらに,この手法をより実用的な部分的クライアント参加を支援するアルゴリズムの変種を検討する。

関連論文リスト

• Enhanced Federated Optimization: Adaptive Unbiased Client Sampling with Reduced Variance [37.646655530394604]
  Federated Learning(FL)は、ローカルデータを収集することなく、複数のデバイスでグローバルモデルをトレーニングする分散学習パラダイムである。 独立サンプリング手法を用いて,最初の適応型クライアントサンプリング器K-Vibを提案する。 K-Vibは、一連の通信予算の中で、後悔すべき$tildemathcalObig(Nfrac13Tfrac23/Kfrac43big)$の線形スピードアップを達成する。
  論文  参考訳（メタデータ） (2023-10-04T10:08:01Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Locally Adaptive Federated Learning [30.19411641685853]
  フェデレートラーニング(Federated Learning)とは、複数のクライアントが中央サーバと協調してモデルを学習する分散機械学習のパラダイムである。 Federated Averaging (FedAvg)のような標準的なフェデレーション最適化手法は、クライアント間の一般化を保証する。 本稿では,各クライアント関数の局所的幾何情報を利用する局所的フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-12T17:02:32Z)
• FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
  Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。 我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。 異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
  論文  参考訳（メタデータ） (2022-05-27T00:55:24Z)
• On Second-order Optimization Methods for Federated Learning [59.787198516188425]
  フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。 本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
  論文  参考訳（メタデータ） (2021-09-06T12:04:08Z)
• FedChain: Chained Algorithms for Near-Optimal Communication Cost in Federated Learning [24.812767482563878]
  フェデレートラーニング(FL)は、多くのクライアントに分散した異種データ上でモデルをトレーニングする際のコミュニケーションの複雑さを最小限にすることを目的としている。 本稿では,局所的手法と大域的手法の強みを組み合わせたアルゴリズムフレームワークであるFedChainを提案する。
  論文  参考訳（メタデータ） (2021-08-16T02:57:06Z)
• Efficient Algorithms for Federated Saddle Point Optimization [32.060759921090856]
  我々は,通信制約が主なボトルネックとなるフェデレーション設定において,凸凹型ミニマックス問題を考える。 我々のゴールは、任意の異種性の下でMinibatch Mirror-prox性能を回復しながら、クライアントの類似性の利点を活用できるアルゴリズムを設計することである。
  論文  参考訳（メタデータ） (2021-02-12T02:55:36Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。