論文の概要: Cyclical Weight Consolidation: Towards Solving Catastrophic Forgetting in Serial Federated Learning

• arxiv url: http://arxiv.org/abs/2405.10647v1
• Date: Fri, 17 May 2024 09:20:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 16:32:42.301445
• Title: Cyclical Weight Consolidation: Towards Solving Catastrophic Forgetting in Serial Federated Learning
• Title（参考訳）: 周期的重み強化 : シリアル・フェデレーション・ラーニングにおけるカタストロフィック・フォーミングの解決を目指して
• Authors: Haoyue Song, Jiacheng Wang, Liansheng Wang,
• Abstract要約: フェデレートラーニング(FL)は、データの不足とプライバシー上の懸念に対処するために注目を集めている。 FedAvgのような並列FLアルゴリズムは優れた性能を示すが、ネットワーク速度の異なるシナリオでは課題に直面している。 シリアルFLは、デバイス間で連続的に更新を循環的に転送することで、これらの課題を回避するための代替ソリューションを提供する。
• 参考スコア（独自算出の注目度）: 12.12743798858467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) has gained attention for addressing data scarcity and privacy concerns. While parallel FL algorithms like FedAvg exhibit remarkable performance, they face challenges in scenarios with diverse network speeds and concerns about centralized control, especially in multi-institutional collaborations like the medical domain. Serial FL presents an alternative solution, circumventing these challenges by transferring model updates serially between devices in a cyclical manner. Nevertheless, it is deemed inferior to parallel FL in that (1) its performance shows undesirable fluctuations, and (2) it converges to a lower plateau, particularly when dealing with non-IID data. The observed phenomenon is attributed to catastrophic forgetting due to knowledge loss from previous sites. In this paper, to overcome fluctuation and low efficiency in the iterative learning and forgetting process, we introduce cyclical weight consolidation (CWC), a straightforward yet potent approach specifically tailored for serial FL. CWC employs a consolidation matrix to regulate local optimization. This matrix tracks the significance of each parameter on the overall federation throughout the entire training trajectory, preventing abrupt changes in significant weights. During revisitation, to maintain adaptability, old memory undergoes decay to incorporate new information. Our comprehensive evaluations demonstrate that in various non-IID settings, CWC mitigates the fluctuation behavior of the original serial FL approach and enhances the converged performance consistently and significantly. The improved performance is either comparable to or better than the parallel vanilla.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データの不足とプライバシー上の懸念に対処するために注目を集めている。 FedAvgのような並列FLアルゴリズムは優れたパフォーマンスを示すが、ネットワーク速度の多様性や集中管理に関する懸念のあるシナリオ、特に医療領域のような多施設的なコラボレーションでは課題に直面している。 シリアルFLは、デバイス間で連続的に更新を循環的に転送することで、これらの課題を回避するための代替ソリューションを提供する。 それにもかかわらず、(1)その性能は望ましくない変動を示し、(2)低台地(特に非IIDデータを扱う場合)に収束する。 観測された現象は、以前の場所からの知識喪失による破滅的な忘れ物によるものである。 本稿では,繰り返し学習および忘れる過程における変動と低効率を克服するために,直列FLに特化して最適化された単純かつ強力なアプローチである循環重み統合(CWC)を導入する。 CWCは局所最適化を制御するために強化行列を用いる。 この行列は、トレーニング軌跡全体を通して、各パラメータが全体のフェデレーションに与える影響をトラックし、重要な重みの急激な変化を防ぐ。 再検討中、適応性を維持するため、古いメモリは新しい情報を組み込むために崩壊する。 総合評価の結果、CWCは、様々な非IID設定において、元の直列FLアプローチの変動挙動を緩和し、収束性能を連続的に大幅に向上することを示した。 改善されたパフォーマンスは、並列バニラと同等かそれ以上である。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Take History as a Mirror in Heterogeneous Federated Learning [9.187993085263209]
  フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。 本稿では,FedHist(Federated Historical Learning)と呼ばれる新しい非同期FLフレームワークを提案する。 FedHistは、非IIDデータと勾配の安定化によって引き起こされる課題に効果的に対処する。
  論文  参考訳（メタデータ） (2023-12-16T11:40:49Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• Why Batch Normalization Damage Federated Learning on Non-IID Data? [34.06900591666005]
  フェデレートラーニング(FL)では、エッジクライアントのプライバシを保護しながら、ネットワークエッジでディープニューラルネットワーク(DNN)モデルをトレーニングする。 バッチ正規化(BN)は、訓練を加速し、能力一般化を改善するためのシンプルで効果的な手段とみなされてきた。 最近の研究では、BNは非i.d.データの存在下でFLの性能を著しく損なうことが示されている。 非i.d.データの下で、BNの局所的および大域的統計パラメータ間のミスマッチが局所的および大域的モデル間の勾配ずれを引き起こすことを示す最初の収束解析を提示する。
  論文  参考訳（メタデータ） (2023-01-08T05:24:12Z)
• Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks [56.91063444859008]
  Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。 FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。 年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-14T17:33:01Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• FedCos: A Scene-adaptive Federated Optimization Enhancement for Performance Improvement [11.687451505965655]
  我々は,コサイン類似性ペナルティを導入することにより,局所モデルの方向性の不整合を低減するFedCosを提案する。 我々は、FedCosがよく知られたベースラインより優れており、様々なFLシーンでそれらを強化できることを示す。 FedCosの助けを借りて、複数のFLメソッドは、同等の性能のモデルを得るために、以前よりもはるかに少ない通信ラウンドを必要とする。
  論文  参考訳（メタデータ） (2022-04-07T02:59:54Z)
• Towards Efficient and Stable K-Asynchronous Federated Learning with Unbounded Stale Gradients on Non-IID Data [10.299577499118548]
  フェデレートラーニング(FL)は、複数の参加者が生データをアップロードすることなくグローバルモデルをトレーニングできる、新たなプライバシ保護パラダイムである。 本稿では,適応学習率(WKAFL)を持つ2段重み付き非同期FLを提案する。 ベンチマークと合成FLデータセットの両方に実装された実験は、WKAFLが既存のアルゴリズムよりも全体的なパフォーマンスが優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-02T16:17:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。