論文の概要: Acceleration of Federated Learning with Alleviated Forgetting in Local
Training
- arxiv url: http://arxiv.org/abs/2203.02645v1
- Date: Sat, 5 Mar 2022 02:31:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-08 14:31:10.413920
- Title: Acceleration of Federated Learning with Alleviated Forgetting in Local
Training
- Title（参考訳）: 地域研修におけるフェデレーション学習の促進
- Authors: Chencheng Xu, Zhiwei Hong, Minlie Huang, Tao Jiang
- Abstract要約: フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
- 参考スコア（独自算出の注目度）: 61.231021417674235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) enables distributed optimization of machine learning
models while protecting privacy by independently training local models on each
client and then aggregating parameters on a central server, thereby producing
an effective global model. Although a variety of FL algorithms have been
proposed, their training efficiency remains low when the data are not
independently and identically distributed (non-i.i.d.) across different
clients. We observe that the slow convergence rates of the existing methods are
(at least partially) caused by the catastrophic forgetting issue during the
local training stage on each individual client, which leads to a large increase
in the loss function concerning the previous training data at the other
clients. Here, we propose FedReg, an algorithm to accelerate FL with alleviated
knowledge forgetting in the local training stage by regularizing locally
trained parameters with the loss on generated pseudo data, which encode the
knowledge of previous training data learned by the global model. Our
comprehensive experiments demonstrate that FedReg not only significantly
improves the convergence rate of FL, especially when the neural network
architecture is deep and the clients' data are extremely non-i.i.d., but is
also able to protect privacy better in classification problems and more robust
against gradient inversion attacks. The code is available at:
https://github.com/Zoesgithub/FedReg.
- Abstract（参考訳）: フェデレートラーニング(FL)は、各クライアント上のローカルモデルを独立してトレーニングし、中央サーバ上でパラメータを集約することで、プライバシーを保護しながら機械学習モデルの分散最適化を可能にする。
様々なFLアルゴリズムが提案されているが、その訓練効率は、データが独立にではなく、異なるクライアントに均等に分散していないときにも低い。
既存の手法の収束速度は(少なくとも部分的には)各クライアントの局所的な訓練段階における悲惨な忘れ問題によって引き起こされ、他のクライアントにおける以前のトレーニングデータに関する損失関数が大幅に増加することが観察された。
本稿では,グローバルモデルが学習した過去のトレーニングデータの知識をエンコードした,生成された疑似データの損失を伴う局所学習パラメータを規則化することにより,局所学習段階における知識忘れを緩和したflを高速化するアルゴリズムであるfeedregを提案する。
我々の包括的な実験は、FedRegがFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深く、クライアントのデータが極めて非等号である場合にも、分類問題においてプライバシーを保護し、勾配反転攻撃に対してより堅牢であることを示した。
コードはhttps://github.com/zoesgithub/fedreg。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Achieving Linear Speedup in Asynchronous Federated Learning with
Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。
本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。
DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文 参考訳（メタデータ） (2024-02-17T05:22:46Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FedPDC:Federated Learning for Public Dataset Correction [1.5533842336139065]
フェデレート学習は、非IIDシナリオにおける従来の機械学習よりも分類精度が低い。
局所モデルのアグリゲーションモードと局所学習の損失関数を最適化するために,新しいアルゴリズムであるFedPDCを提案する。
多くのベンチマーク実験において、FedPDCは極めて不均衡なデータ分布の場合、グローバルモデルの精度を効果的に向上させることができる。
論文 参考訳（メタデータ） (2023-02-24T08:09:23Z) - Aergia: Leveraging Heterogeneity in Federated Learning Systems [5.0650178943079]
フェデレートラーニング(FL)は、クライアントを頼りに、ローカルデータセットを使用してグローバルモデルを更新する。
Aergiaは、遅いクライアントがトレーニングで最も計算集約的なモデルの一部を凍結する、新しいアプローチである。
AergiaはFedAvgとTiFLと比較して、異種条件下でのトレーニング時間を最大27%と53%と大幅に短縮する。
論文 参考訳（メタデータ） (2022-10-12T12:59:18Z) - Federated Adversarial Learning: A Framework with Convergence Analysis [28.136498729360504]
フェデレートラーニング(Federated Learning、FL)は、分散トレーニングデータを活用するためのトレンドトレーニングパラダイムである。
FLは、クライアントがいくつかのエポックでモデルパラメータをローカルに更新し、アグリゲーションのためのグローバルモデルと共有することを可能にする。
このトレーニングパラダイムは、アグリゲーションの前に複数のローカルステップを更新することで、敵の攻撃に対してユニークな脆弱性を露呈する。
論文 参考訳（メタデータ） (2022-08-07T04:17:34Z) - Stochastic Coded Federated Learning with Convergence and Privacy
Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。
本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。
我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文 参考訳（メタデータ） (2022-01-25T04:43:29Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。