論文の概要: FedCM: Federated Learning with Client-level Momentum
- arxiv url: http://arxiv.org/abs/2106.10874v1
- Date: Mon, 21 Jun 2021 06:16:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-22 15:23:25.727716
- Title: FedCM: Federated Learning with Client-level Momentum
- Title(参考訳): FedCM: クライアントレベルのモメンタムによるフェデレーション学習
- Authors: Jing Xu, Sen Wang, Liwei Wang, Andrew Chi-Chih Yao
- Abstract要約: FedCM(Federated Averaging with Client-level Momentum)は、実世界のフェデレーション学習アプリケーションにおける部分的参加とクライアントの不均一性の問題に対処するために提案される。
FedCMは、以前の通信ラウンドにおけるグローバルな勾配情報を集約し、モーメントのような用語でクライアントの勾配降下を修正し、バイアスを効果的に補正し、局所的なSGDの安定性を向上させる。
- 参考スコア(独自算出の注目度): 18.722626360599065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning is a distributed machine learning approach which enables
model training without data sharing. In this paper, we propose a new federated
learning algorithm, Federated Averaging with Client-level Momentum (FedCM), to
tackle problems of partial participation and client heterogeneity in real-world
federated learning applications. FedCM aggregates global gradient information
in previous communication rounds and modifies client gradient descent with a
momentum-like term, which can effectively correct the bias and improve the
stability of local SGD. We provide theoretical analysis to highlight the
benefits of FedCM. We also perform extensive empirical studies and demonstrate
that FedCM achieves superior performance in various tasks and is robust to
different levels of client numbers, participation rate and client
heterogeneity.
- Abstract(参考訳): Federated Learningは、データ共有なしでモデルトレーニングを可能にする分散機械学習アプローチである。
本稿では,実世界のフェデレーション学習アプリケーションにおいて,部分的参加とクライアントの不均一性の問題に取り組むために,クライアントレベルモメンタム(fedcm)を用いたフェデレーション平均化手法を提案する。
FedCMは、以前の通信ラウンドにおけるグローバルな勾配情報を集約し、モーメントのような用語でクライアントの勾配降下を修正し、バイアスを効果的に補正し、局所的なSGDの安定性を向上させる。
fedcmの利点を強調するために理論的分析を行う。
また,feedcmが様々なタスクにおいて優れた性能を達成し,クライアント数,参加率,クライアントの不均一性といったさまざまなレベルに対して堅牢であることを実証した。
関連論文リスト
- Federated Learning Can Find Friends That Are Beneficial [11.183904362096753]
フェデレートラーニング(FL)では、クライアントデータの分散の性質と均一性は、機会と課題の両方を示します。
本稿では,FLトレーニングに参加するクライアントに対して適応的なアグリゲーション重みを割り当てるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-07T17:46:37Z) - Relaxed Contrastive Learning for Federated Learning [53.48804883845343]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - When Do Curricula Work in Federated Learning? [56.88941905240137]
カリキュラム学習は非IID性を大幅に軽減する。
クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。
本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
論文 参考訳(メタデータ) (2022-12-24T11:02:35Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳(メタデータ) (2022-06-05T01:14:46Z) - A Fair Federated Learning Framework With Reinforcement Learning [23.675056844328]
フェデレートラーニング(Federated Learning, FL)は、多くのクライアントが中央サーバの協調の下でモデルを協調的にトレーニングするパラダイムである。
本稿では,クライアントにアグリゲーション重み付けを割り当てるポリシを自動的に学習するPG-FFLという強化学習フレームワークを提案する。
フレームワークの有効性を検証するため、多様なデータセットに対して広範な実験を行う。
論文 参考訳(メタデータ) (2022-05-26T15:10:16Z) - Federated Learning Under Intermittent Client Availability and
Time-Varying Communication Constraints [29.897785907692644]
フェデレートされた学習システムは、断続的なクライアントの可用性および/または時間変化の通信制約を伴う設定で動作する。
可用性に依存したクライアント選択戦略を学習する非バイアスアルゴリズムであるF3ASTを提案する。
CIFAR100とシェークスピアでそれぞれ186%,FedAvgは8%,FedAdamは7%であった。
論文 参考訳(メタデータ) (2022-05-13T16:08:58Z) - Addressing Client Drift in Federated Continual Learning with Adaptive
Optimization [10.303676184878896]
本稿では,NetTailorを連続学習候補として活用することにより,FCL(Federated Continual Learning)を実現するための枠組みを概説する。
適応型フェデレーション最適化は,クライアントドリフトの悪影響を低減し,CIFAR100,MiniImagenet,Deathlonベンチマーク上での有効性を示す。
論文 参考訳(メタデータ) (2022-03-24T20:00:03Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳(メタデータ) (2022-03-22T14:06:26Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。