論文の概要: Locally Adaptive Federated Learning via Stochastic Polyak Stepsizes
- arxiv url: http://arxiv.org/abs/2307.06306v1
- Date: Wed, 12 Jul 2023 17:02:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-13 12:11:54.314270
- Title: Locally Adaptive Federated Learning via Stochastic Polyak Stepsizes
- Title（参考訳）: 確率的ポリークステップサイズによる局所適応型フェデレーション学習
- Authors: Sohom Mukherjee, Nicolas Loizou, Sebastian U. Stich
- Abstract要約: FedAvgのような最先端のフェデレーション学習アルゴリズムは、最高のパフォーマンスを達成するために、慎重に調整されたステップサイズを必要とする。
FedSPSとFedDecSPS(FedSPSとFedDecSPS)を新たに提案する。
我々は、幾何条件(過パラメトリゼーション)が満たされるとき、FedSPSが強い凸に線形に収束し、凸設定でサブ線形に収束することを証明し、一般の場合、解の近傍に収束する。
- 参考スコア（独自算出の注目度）: 33.449007398247865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art federated learning algorithms such as FedAvg require
carefully tuned stepsizes to achieve their best performance. The improvements
proposed by existing adaptive federated methods involve tuning of additional
hyperparameters such as momentum parameters, and consider adaptivity only in
the server aggregation round, but not locally. These methods can be inefficient
in many practical scenarios because they require excessive tuning of
hyperparameters and do not capture local geometric information. In this work,
we extend the recently proposed stochastic Polyak stepsize (SPS) to the
federated learning setting, and propose new locally adaptive and nearly
parameter-free distributed SPS variants (FedSPS and FedDecSPS). We prove that
FedSPS converges linearly in strongly convex and sublinearly in convex settings
when the interpolation condition (overparametrization) is satisfied, and
converges to a neighborhood of the solution in the general case. We extend our
proposed method to a decreasing stepsize version FedDecSPS, that converges also
when the interpolation condition does not hold. We validate our theoretical
claims by performing illustrative convex experiments. Our proposed algorithms
match the optimization performance of FedAvg with the best tuned
hyperparameters in the i.i.d. case, and outperform FedAvg in the non-i.i.d.
case.
- Abstract（参考訳）: fedavgのような最先端のフェデレーション学習アルゴリズムは、最高のパフォーマンスを達成するために注意深く調整されたステップを必要とする。
既存の適応フェデレーション手法によって提案された改善は、運動量パラメータなどの追加のハイパーパラメータのチューニングを含み、サーバアグリゲーションラウンドのみに適応性を考慮するが、局所的ではない。
これらの方法は、ハイパーパラメータの過度なチューニングを必要とし、局所的な幾何学的情報をキャプチャしないため、多くの実践シナリオでは非効率である。
本研究では,最近提案された確率的Polyak Stepize(SPS)をフェデレーション学習環境に拡張し,局所適応型でパラメータフリーに近い分散SPS変種(FedSPS,FedDecSPS)を提案する。
補間条件(オーバーパラメトリゼーション)が満たされた場合、FedSPSは強い凸に線形に収束し、凸設定でサブリニアに収束し、一般の場合、解の近傍に収束することを示す。
我々は提案手法を段階化バージョンであるFedDecSPSに拡張し、補間条件が保たない場合も収束する。
実測凸実験により理論的主張を検証した。
提案アルゴリズムは,FedAvgの最適化性能を,i.d.の場合で最高のチューニングハイパーパラメータと一致させ,i.d.の場合ではFedAvgより優れる。
関連論文リスト
- Collaborative and Efficient Personalization with Mixtures of Adaptors [5.195669033269619]
マルチタスク学習問題に対処するパラメータ効率の枠組みを提案する。
FLoRAL(Federated Low-Rank Adaptive Learning)と呼ぶフレームワークがあります。
人工データセットと実世界のフェデレートされたマルチタスク問題に関する有望な実験結果を示す。
論文 参考訳（メタデータ） (2024-10-04T15:11:15Z) - Towards Hyper-parameter-free Federated Learning [1.3682156035049038]
グローバルモデル更新の自動スケーリングのためのアルゴリズムを導入する。
第1のアルゴリズムでは、クライアントにおける降下検知ステップサイズ体制が、サーバの目的に対して降下を保証することが保証される。
第2のアルゴリズムは、サンプリングされたクライアントの目的値の平均値が、スケーリング係数を計算するのに必要な値サーバの実用的で効果的な代用であることを示している。
論文 参考訳（メタデータ） (2024-08-30T09:35:36Z) - FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。
我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。
我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文 参考訳（メタデータ） (2024-05-20T06:12:33Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Neural Collapse Inspired Federated Learning with Non-iid Data [31.576588815816095]
非独立かつ同一に分散された(非ID)特性は、ローカル更新に大きな違いをもたらし、中央サーバの性能に影響する。
神経崩壊の現象にインスパイアされた私たちは、各クライアントを最適なグローバル構造に最適化するよう強制する。
提案手法は, 異なるサイズのデータセット上での収束速度を高速化して, 性能を向上することができる。
論文 参考訳（メタデータ） (2023-03-27T05:29:53Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - Local Adaptivity in Federated Learning: Convergence and Consistency [25.293584783673413]
フェデレートラーニング(FL)フレームワークは、局所的に訓練されたモデルを定期的に集約することで、エッジクライアントデバイスに格納された分散データを使用して機械学習モデルをトレーニングする。
局所適応法は収束を加速できるが, 解バイアスを生じさせる可能性があることを示す。
本稿では,この不整合を克服し,FLの局所適応手法を補完する補正手法を提案する。
論文 参考訳（メタデータ） (2021-06-04T07:36:59Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Adaptive Federated Optimization [43.78438670284309]
フェデレートラーニングでは、多数のクライアントが中央サーバとコーディネートして、自身のデータを共有せずにモデルを学習する。
適応最適化手法は、このような問題に対処する際、顕著な成功を収めている。
適応型学習は,フェデレート学習の性能を著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2020-02-29T16:37:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。