論文の概要: Buffer-based Gradient Projection for Continual Federated Learning

• arxiv url: http://arxiv.org/abs/2409.01585v1
• Date: Tue, 3 Sep 2024 03:50:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 02:53:07.878582
• Title: Buffer-based Gradient Projection for Continual Federated Learning
• Title（参考訳）: バッファに基づく連続的フェデレーション学習のためのグラディエント投影
• Authors: Shenghong Dai, Jy-yong Sohn, Yicong Chen, S M Iftekharul Alam, Ravikumar Balakrishnan, Suman Banerjee, Nageen Himayat, Kangwook Lee,
• Abstract要約: Fed-A-GEMは、局所バッファサンプルと集約バッファ勾配を利用して破滅的な忘れを緩和する。 標準ベンチマークの実験では、さまざまなシナリオで一貫したパフォーマンス改善が示されています。
• 参考スコア（独自算出の注目度）: 16.879024856283323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Federated Learning (CFL) is essential for enabling real-world applications where multiple decentralized clients adaptively learn from continuous data streams. A significant challenge in CFL is mitigating catastrophic forgetting, where models lose previously acquired knowledge when learning new information. Existing approaches often face difficulties due to the constraints of device storage capacities and the heterogeneous nature of data distributions among clients. While some CFL algorithms have addressed these challenges, they frequently rely on unrealistic assumptions about the availability of task boundaries (i.e., knowing when new tasks begin). To address these limitations, we introduce Fed-A-GEM, a federated adaptation of the A-GEM method (Chaudhry et al., 2019), which employs a buffer-based gradient projection approach. Fed-A-GEM alleviates catastrophic forgetting by leveraging local buffer samples and aggregated buffer gradients, thus preserving knowledge across multiple clients. Our method is combined with existing CFL techniques, enhancing their performance in the CFL context. Our experiments on standard benchmarks show consistent performance improvements across diverse scenarios. For example, in a task-incremental learning scenario using the CIFAR-100 dataset, our method can increase the accuracy by up to 27%. Our code is available at https://github.com/shenghongdai/Fed-A-GEM.
• Abstract（参考訳）: CFL(Continuous Federated Learning)は、複数の分散クライアントが継続的データストリームから適応的に学習する現実世界のアプリケーションを実現するために不可欠である。 CFLにおける重要な課題は、新しい情報を学ぶ際に、モデルが以前取得した知識を失う破滅的な忘れを緩和することである。 既存のアプローチは、デバイスストレージ容量の制約とクライアント間のデータ分散の不均一性のために、しばしば困難に直面します。 いくつかのCFLアルゴリズムはこれらの課題に対処しているが、それらはしばしばタスク境界(新しいタスクがいつ始まるかを知ること)の可用性に関する非現実的な仮定に依存している。 これらの制約に対処するため,バッファベースの勾配投影手法を用いたA-GEM法(Chaudhry et al , 2019)のフェデレーションであるFed-A-GEMを導入する。 Fed-A-GEMは、ローカルバッファサンプルと集約バッファ勾配を活用することで破滅的な忘れを軽減し、複数のクライアント間で知識を保持する。 提案手法は既存のCFL技術と組み合わせて,CFLコンテキストにおける性能を向上させる。 標準ベンチマークの実験では、さまざまなシナリオで一貫したパフォーマンス改善が示されています。 例えば、CIFAR-100データセットを用いたタスク増分学習シナリオでは、その精度を最大27%向上させることができる。 私たちのコードはhttps://github.com/shenghongdai/Fed-A-GEM.comで公開されています。

関連論文リスト

• Flashback: Understanding and Mitigating Forgetting in Federated Learning [7.248285042377168]
  フェデレートラーニング(FL)では、忘れたり、ラウンド全体で知識が失われたりすると、ハマーズアルゴリズムが収束する。 我々は,新たな知識獲得の過程で,忘れをきめ細かく測定し,認識を確実にする指標を導入する。 本稿では,局所的なモデルを正規化し,その知識を効果的に集約する動的蒸留手法を用いたFLアルゴリズムであるFlashbackを提案する。
  論文  参考訳（メタデータ） (2024-02-08T10:52:37Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• SemiSFL: Split Federated Learning on Unlabeled and Non-IID Data [34.49090830845118]
  フェデレートラーニング(FL)は、複数のクライアントがネットワークエッジでプライベートデータ上で機械学習モデルを協調的にトレーニングできるようにするためのものだ。 クラスタリング正規化を取り入れて,ラベルなしおよび非IIDクライアントデータでSFLを実行する,Semi-supervised SFLシステムを提案する。 本システムは,訓練時間の3.8倍の高速化を実現し,目標精度を達成しつつ通信コストを約70.3%削減し,非IIDシナリオで最大5.8%の精度向上を実現する。
  論文  参考訳（メタデータ） (2023-07-29T02:35:37Z)
• Improving information retention in large scale online continual learning [99.73847522194549]
  オンライン連続学習は、既存の知識を維持しながら、新しいデータに効率的に適応することを目的としている。 最近の研究は、リプレイバッファが無制限であっても、大規模なOCLでは情報保持が問題であり続けていることを示唆している。 非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:59:43Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Towards Federated Learning on Time-Evolving Heterogeneous Data [13.080665001587281]
  Federated Learning(FL)は、エッジデバイス上でクライアントデータのローカリティを保証することによって、プライバシを保護する、新たな学習パラダイムである。 異種データの最適化に関する最近の研究にもかかわらず、実世界のシナリオにおける異種データの時間進化の影響は十分に研究されていない。 本稿では,FLの時間発展的不均一性を捉えるために,フレキシブルなフレームワークであるContinual Federated Learning (CFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-25T14:58:52Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Bayesian Federated Learning over Wireless Networks [87.37301441859925]
  フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。 本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-31T07:32:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。