論文の概要: Accelerating Federated Learning with a Global Biased Optimiser
- arxiv url: http://arxiv.org/abs/2108.09134v1
- Date: Fri, 20 Aug 2021 12:08:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-23 17:59:33.925273
- Title: Accelerating Federated Learning with a Global Biased Optimiser
- Title（参考訳）: グローバルバイアスオプティマイザによるフェデレーション学習の高速化
- Authors: Jed Mills, Jia Hu, Geyong Min, Rui Jin, Siwei Zheng, Jin Wang
- Abstract要約: Federated Learning(FL)は、クライアントデバイスを離れるトレーニングデータなしでモデルを協調訓練する機械学習の分野における最近の開発である。
本稿では,FedGBO(Federated Global Biased Optimiser)アルゴリズムを用いて,適応最適化手法をFLに適用する手法を提案する。
FedGBOは、FLの局所的なトレーニングフェーズにおいて、グローバルバイアス付きオプティマイザ値のセットを適用することでFLを加速し、非IIDデータからのクライアントドリフトを減少させる。
- 参考スコア（独自算出の注目度）: 16.69005478209394
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a recent development in the field of machine
learning that collaboratively trains models without the training data leaving
client devices, in order to preserve data-privacy. In realistic settings, the
total training set is distributed over clients in a highly non-Independent and
Identically Distributed (non-IID) fashion, which has been shown extensively to
harm FL convergence speed and final model performance. We propose a novel,
generalised approach for applying adaptive optimisation techniques to FL with
the Federated Global Biased Optimiser (FedGBO) algorithm. FedGBO accelerates FL
by applying a set of global biased optimiser values during the local training
phase of FL, which helps to reduce `client-drift' from non-IID data, whilst
also benefiting from adaptive momentum/learning-rate methods. We show that the
FedGBO update with a generic optimiser can be viewed as a centralised update
with biased gradients and optimiser update, and use this theoretical framework
to prove the convergence of FedGBO using momentum-Stochastic Gradient Descent.
We also perform extensive experiments using 4 realistic benchmark FL datasets
and 3 popular adaptive optimisers to compare the performance of different
adaptive-FL approaches, demonstrating that FedGBO has highly competitive
performance considering its low communication and computation costs, and
providing highly practical insights for the use of adaptive optimisation in FL.
- Abstract（参考訳）: Federated Learning(FL)は、データプライバシを維持するために、クライアントデバイスを離れるトレーニングデータなしでモデルを協調訓練する機械学習の分野における最近の開発である。
現実的な設定では、総トレーニングセットは、FL収束速度と最終的なモデル性能を損なうために広範囲に表示され、非独立で直接的でない分散(非IID)方式でクライアントに分散される。
本稿では,FedGBO(Federated Global Biased Optimiser)アルゴリズムを用いて,適応最適化手法をFLに適用する手法を提案する。
FedGBOは、FLの局所的なトレーニングフェーズにおいて、グローバルバイアス付きオプティマイザ値のセットを適用することでFLを加速し、非IIDデータから'client-drift'を減らし、適応運動量/学習率法の恩恵を受ける。
一般化オプティマイザによるFedGBO更新は偏りのある勾配とオプティマイザの更新を伴う集中的な更新と見なすことができ、この理論的枠組みを用いて運動量-確率的グラディエントDescentを用いてFedGBOの収束を証明することができる。
また、4つの現実的なベンチマークFLデータセットと3つの一般的な適応最適化器を用いて、異なる適応FLアプローチの性能を比較し、FedGBOが低通信と計算コストを考慮して高い競争性能を持つことを示した。
関連論文リスト
- FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。
本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。
提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
論文 参考訳（メタデータ） (2024-07-25T20:02:57Z) - FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。
クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。
本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-29T11:28:06Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T16:37:59Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - FedAVO: Improving Communication Efficiency in Federated Learning with
African Vultures Optimizer [0.0]
Federated Learning (FL) は分散機械学習技術である。
本稿では,通信効率を向上させる新しいFLアルゴリズムであるFedAVOを紹介する。
我々はFedAVOがモデル精度と通信ラウンドにおいて大幅な改善を達成していることを示す。
論文 参考訳（メタデータ） (2023-05-02T02:04:19Z) - AnycostFL: Efficient On-Demand Federated Learning over Heterogeneous
Edge Devices [20.52519915112099]
我々はAny CostFLというコスト調整可能なFLフレームワークを提案し、多様なエッジデバイスがローカル更新を効率的に実行できるようにする。
実験結果から,我々の学習フレームワークは,適切なグローバルテスト精度を実現するために,トレーニング遅延とエネルギー消費の最大1.9倍の削減が可能であることが示唆された。
論文 参考訳（メタデータ） (2023-01-08T15:25:55Z) - Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。
近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。
本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
論文 参考訳（メタデータ） (2022-07-14T22:46:43Z) - Disentangled Federated Learning for Tackling Attributes Skew via
Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。
本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。
実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文 参考訳（メタデータ） (2022-06-14T13:12:12Z) - Local Adaptivity in Federated Learning: Convergence and Consistency [25.293584783673413]
フェデレートラーニング(FL)フレームワークは、局所的に訓練されたモデルを定期的に集約することで、エッジクライアントデバイスに格納された分散データを使用して機械学習モデルをトレーニングする。
局所適応法は収束を加速できるが, 解バイアスを生じさせる可能性があることを示す。
本稿では,この不整合を克服し,FLの局所適応手法を補完する補正手法を提案する。
論文 参考訳（メタデータ） (2021-06-04T07:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。