論文の概要: Fast Convergence Federated Learning with Aggregated Gradients
- arxiv url: http://arxiv.org/abs/2303.15799v1
- Date: Tue, 28 Mar 2023 08:07:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 16:04:18.944386
- Title: Fast Convergence Federated Learning with Aggregated Gradients
- Title(参考訳): Aggregated Gradientsを用いた高速収束フェデレーション学習
- Authors: Wenhao Yuan and Xuehe Wang
- Abstract要約: Federated Learning(FL)は、新しい機械学習フレームワークである。
本稿では,各反復における局所パラメータと大域パラメータの偏差を考慮した適応学習率アルゴリズムを提案する。
提案手法は,IIDおよび非IIDデータセットのモデル精度と収束率において,最先端の手法よりも優れている。
- 参考スコア(独自算出の注目度): 1.599072005190786
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a novel machine learning framework, which enables
multiple distributed devices cooperatively training a shared model scheduled by
a central server while protecting private data locally. However, the
non-independent-and-identically-distributed (Non-IID) data samples and frequent
communication among participants will slow down the convergent rate and
increase communication costs. To achieve fast convergence, we ameliorate the
local gradient descend approach in conventional local update rule by
introducing the aggregated gradients at each local update epoch, and propose an
adaptive learning rate algorithm that further takes the deviation of local
parameter and global parameter into consideration at each iteration. The above
strategy requires all clients' local parameters and gradients at each local
iteration, which is challenging as there is no communication during local
update epochs. Accordingly, we utilize mean field approach by introducing two
mean field terms to estimate the average local parameters and gradients
respectively, which does not require clients to exchange their private
information with each other at each local update epoch. Numerical results show
that our proposed framework is superior to the state-of-art schemes in model
accuracy and convergent rate on both IID and Non-IID dataset.
- Abstract(参考訳): フェデレーション・ラーニング(federated learning, fl)は、複数の分散デバイスが、プライベートデータをローカルに保護しながら、中央サーバがスケジュールした共有モデルを協調的にトレーニングできる、新しい機械学習フレームワークである。
しかし,非独立分散(Non-IID)データサンプルと参加者間の頻繁なコミュニケーションは収束率を低下させ,通信コストを増大させる。
高速収束を実現するために,各局所更新期間に集約勾配を導入することにより,従来の局所更新ルールにおける局所勾配降下アプローチを改善し,各イテレーションで局所パラメータと大域パラメータの偏差をさらに考慮した適応学習率アルゴリズムを提案する。
上記の戦略では、各ローカルイテレーションにおいて、すべてのクライアントのローカルパラメータと勾配が必要である。
したがって,各ローカル更新時においてクライアントが相互にプライベート情報を交換する必要のない平均局所パラメータと勾配を推定するために,平均場項を2つ導入することで平均場アプローチを利用する。
解析の結果,提案手法はIIDおよび非IIDデータセットのモデル精度と収束率において,最先端の手法よりも優れていることがわかった。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。
本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-03-27T07:57:04Z) - Personalized Decentralized Federated Learning with Knowledge
Distillation [5.469841541565307]
フェデレート学習機能のパーソナライゼーションは、データや振る舞いのばらつきが高いクライアントのコーディネータとして機能する。
一般に、分散ネットワークにおいて、他のユーザーのモデルについて限られた知識の下で類似性を定量化することは困難である。
本研究では,局所モデル間の統計的距離を識別するために,知識蒸留技術を活用したパーソナライズされた完全分散FLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-23T16:41:07Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳(メタデータ) (2022-03-22T14:06:26Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。
標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。
本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文 参考訳(メタデータ) (2022-01-28T08:42:43Z) - Robust Convergence in Federated Learning through Label-wise Clustering [6.693651193181458]
非IIDデータセットとローカルクライアントの不均一環境は、フェデレートラーニング(FL)における主要な課題であると見なされる
地理的に異質なローカルクライアント間のトレーサビリティを保証する新しいラベルワイドクラスタリングアルゴリズムを提案する。
提案手法は,他のFLアルゴリズムと比較して,高速でロバストな収束を示す。
論文 参考訳(メタデータ) (2021-12-28T18:13:09Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳(メタデータ) (2020-12-28T19:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。