論文の概要: FedAgg: Adaptive Federated Learning with Aggregated Gradients
- arxiv url: http://arxiv.org/abs/2303.15799v3
- Date: Wed, 29 Nov 2023 14:41:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 04:02:44.210243
- Title: FedAgg: Adaptive Federated Learning with Aggregated Gradients
- Title(参考訳): FedAgg: Aggregated Gradientsによる適応的なフェデレーション学習
- Authors: Wenhao Yuan and Xuehe Wang
- Abstract要約: フェデレートラーニング(FL)は、分散モデルトレーニングの新たな標準となっている。
本稿では,局所パラメータと大域パラメータの偏差を考慮した適応学習率反復アルゴリズムを提案する。
提案手法は,IIDおよび非IIDデータ分布を持つ実世界のデータセットにおけるモデル精度と収束率の両方において,最先端のFLスキームよりも優れている。
- 参考スコア(独自算出の注目度): 1.84926694477846
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) has become an emerging norm for distributed model
training, which enables multiple devices cooperatively to train a shared model
utilizing their own datasets scheduled by a central server while keeping
private data localized. However, during the training process, the
non-independent-and-identically-distributed (Non-IID) data generated on
heterogeneous clients and frequent communication across participants may
significantly influence the training performance, slow down the convergent
rate, and increase communication consumption. In this paper, we ameliorate the
standard stochastic gradient descent approach by introducing the aggregated
gradients at each local update epoch and propose an adaptive learning rate
iterative algorithm that further takes the deviation between the local
parameter and global parameter into account. The aforementioned adaptive
learning rate design mechanism requires local information of all clients, which
is challenging as there is no communication during the local update epochs. To
obtain a decentralized adaptive learning rate for each client, we introduce the
mean-field approach by utilizing two mean-field terms to estimate the average
local parameters and gradients respectively without exchanging clients' local
information with each other over time. Through theoretical analysis, we prove
that our method can provide the convergence guarantee for model training and
derive a convergent upper bound for the client drifting term. Extensive
numerical results show that our proposed framework is superior to the
state-of-the-art FL schemes in both model accuracy and convergent rate on
real-world datasets with IID and Non-IID data distribution.
- Abstract(参考訳): 分散モデルトレーニングでは,複数のデバイスが協調して,プライベートデータをローカライズしながら,中央サーバがスケジュールする自身のデータセットを活用した共有モデルをトレーニングできる,フェデレーション学習(federated learning, fl)が新たな標準となっている。
しかし,訓練過程において,不均一クライアント上で生成した非独立分散(Non-IID)データと参加者間の頻繁なコミュニケーションは,トレーニング性能に大きな影響を与え,収束率を低下させ,通信消費を増加させる可能性がある。
本稿では,各局所更新期間に集計勾配を導入することで,標準確率勾配降下法を改善し,さらに局所パラメータと大域パラメータの偏差を考慮した適応学習率反復アルゴリズムを提案する。
上記の適応学習率設計機構は、全クライアントのローカル情報を必要とするため、ローカル更新期間に通信がないため、難しい。
本研究では,各クライアントに対する分散適応学習率を得るために,平均フィールド項を用いて各クライアントのローカル情報を時間とともに交換することなく,平均ローカルパラメータと勾配を推定する手法を提案する。
理論的解析により,本手法がモデルトレーニングの収束保証を提供し,クライアントドリフト項の収束上限を導出できることが証明された。
IIDおよび非IIDデータ分布を持つ実世界のデータセットにおけるモデル精度と収束率の両方において,提案手法は最先端のFLスキームよりも優れていることを示す。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous
Federated Learning [9.975023463908496]
Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。
本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。
我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
論文 参考訳(メタデータ) (2023-05-31T07:00:42Z) - Adaptive Federated Learning via New Entropy Approach [21.835561630042314]
フェデレートラーニング(FL)は、リソース制約のあるクライアントが中央サーバのオーケストレーションの下でグローバルモデルを協調的に学習することを可能にする。
異種クライアントの機器とデータのばらつきの違いにより、局所モデル間のパラメータ偏差が生じる。
本稿では,エントロピー理論に基づく適応学習率スキームを提案する。
論文 参考訳(メタデータ) (2023-03-27T07:57:04Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳(メタデータ) (2023-01-25T03:18:10Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳(メタデータ) (2022-03-22T14:06:26Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Robust Convergence in Federated Learning through Label-wise Clustering [6.693651193181458]
非IIDデータセットとローカルクライアントの不均一環境は、フェデレートラーニング(FL)における主要な課題であると見なされる
地理的に異質なローカルクライアント間のトレーサビリティを保証する新しいラベルワイドクラスタリングアルゴリズムを提案する。
提案手法は,他のFLアルゴリズムと比較して,高速でロバストな収束を示す。
論文 参考訳(メタデータ) (2021-12-28T18:13:09Z) - Personalized Federated Learning through Local Memorization [10.925242558525683]
フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。
最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。
本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
論文 参考訳(メタデータ) (2021-11-17T19:40:07Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。