論文の概要: Fast Convergent Federated Learning with Aggregated Gradients
- arxiv url: http://arxiv.org/abs/2303.15799v2
- Date: Sat, 1 Apr 2023 09:31:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 20:25:01.171258
- Title: Fast Convergent Federated Learning with Aggregated Gradients
- Title(参考訳): Aggregated Gradientsを用いた高速収束フェデレーション学習
- Authors: Wenhao Yuan and Xuehe Wang
- Abstract要約: Federated Learning(FL)は、新しい機械学習フレームワークである。
本稿では,局所パラメータと大域パラメータの偏差を考慮した適応学習率アルゴリズムを提案する。
数値計算の結果,提案手法はIIDデータセットと非IIDデータセットのモデル精度と収束率の両方において,最先端のFLスキームよりも優れていることがわかった。
- 参考スコア(独自算出の注目度): 1.599072005190786
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a novel machine learning framework, which enables
multiple distributed devices cooperatively to train a shared model scheduled by
a central server while protecting private data locally. However, the
non-independent-and-identically-distributed (Non-IID) data samples and frequent
communication across participants may significantly slow down the convergent
rate and increase communication costs. To achieve fast convergence, we
ameliorate the conventional local updating rule by introducing the aggregated
gradients at each local update epoch, and propose an adaptive learning rate
algorithm that further takes the deviation of local parameter and global
parameter into consideration. The above adaptive learning rate design requires
all clients' local information including the local parameters and gradients,
which is challenging as there is no communication during the local update
epochs. To obtain a decentralized adaptive learning rate for each client, we
utilize the mean field approach by introducing two mean field terms to estimate
the average local parameters and gradients respectively, which does not require
the clients to exchange their local information with each other at each local
epoch. Numerical results show that our proposed framework is superior to the
state-of-art FL schemes in both model accuracy and convergent rate for IID and
Non-IID datasets.
- Abstract(参考訳): フェデレーション学習(federated learning, fl)は、複数の分散デバイスが協調して、プライベートデータをローカルに保護しながら、中央サーバがスケジュールした共有モデルをトレーニングできる、新しい機械学習フレームワークである。
しかし、非独立分散(Non-IID)データサンプルと参加者間の頻繁なコミュニケーションは、収束率を著しく低下させ、通信コストを増大させる可能性がある。
高速収束を実現するために,各局所更新期間に集計勾配を導入することにより,従来の局所更新規則を改善し,さらに局所パラメータと大域パラメータの偏差を考慮した適応学習率アルゴリズムを提案する。
上記の適応学習率設計では、局所的なパラメータや勾配を含む全てのクライアントのローカル情報が必要である。
各クライアントに対して分散適応学習率を得るために,各ローカルエポックにおいて,各クライアントがそれぞれのローカル情報を交換する必要のない2つの平均場語を導入し,各ローカルパラメータと勾配を推定することで,平均場アプローチを利用する。
解析の結果,提案手法はIIDおよび非IIDデータセットのモデル精度と収束率の両方において,最先端のFL方式よりも優れていることがわかった。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。
本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-03-27T07:57:04Z) - Personalized Decentralized Federated Learning with Knowledge
Distillation [5.469841541565307]
フェデレート学習機能のパーソナライゼーションは、データや振る舞いのばらつきが高いクライアントのコーディネータとして機能する。
一般に、分散ネットワークにおいて、他のユーザーのモデルについて限られた知識の下で類似性を定量化することは困難である。
本研究では,局所モデル間の統計的距離を識別するために,知識蒸留技術を活用したパーソナライズされた完全分散FLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-23T16:41:07Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳(メタデータ) (2022-03-22T14:06:26Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。
標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。
本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文 参考訳(メタデータ) (2022-01-28T08:42:43Z) - Robust Convergence in Federated Learning through Label-wise Clustering [6.693651193181458]
非IIDデータセットとローカルクライアントの不均一環境は、フェデレートラーニング(FL)における主要な課題であると見なされる
地理的に異質なローカルクライアント間のトレーサビリティを保証する新しいラベルワイドクラスタリングアルゴリズムを提案する。
提案手法は,他のFLアルゴリズムと比較して,高速でロバストな収束を示す。
論文 参考訳(メタデータ) (2021-12-28T18:13:09Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳(メタデータ) (2020-12-28T19:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。