Fugu-MT 論文翻訳(概要): Buffer-based Gradient Projection for Continual Federated Learning

論文の概要: Buffer-based Gradient Projection for Continual Federated Learning

arxiv url: http://arxiv.org/abs/2409.01585v1
Date: Tue, 3 Sep 2024 03:50:19 GMT
ステータス: 処理完了
システム内更新日: 2024-09-06 02:53:07.878582
Title: Buffer-based Gradient Projection for Continual Federated Learning
Title（参考訳）: バッファに基づく連続的フェデレーション学習のためのグラディエント投影
Authors: Shenghong Dai, Jy-yong Sohn, Yicong Chen, S M Iftekharul Alam, Ravikumar Balakrishnan, Suman Banerjee, Nageen Himayat, Kangwook Lee,
Abstract要約: Fed-A-GEMは、局所バッファサンプルと集約バッファ勾配を利用して破滅的な忘れを緩和する。標準ベンチマークの実験では、さまざまなシナリオで一貫したパフォーマンス改善が示されています。
参考スコア（独自算出の注目度）: 16.879024856283323
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Continual Federated Learning (CFL) is essential for enabling real-world applications where multiple decentralized clients adaptively learn from continuous data streams. A significant challenge in CFL is mitigating catastrophic forgetting, where models lose previously acquired knowledge when learning new information. Existing approaches often face difficulties due to the constraints of device storage capacities and the heterogeneous nature of data distributions among clients. While some CFL algorithms have addressed these challenges, they frequently rely on unrealistic assumptions about the availability of task boundaries (i.e., knowing when new tasks begin). To address these limitations, we introduce Fed-A-GEM, a federated adaptation of the A-GEM method (Chaudhry et al., 2019), which employs a buffer-based gradient projection approach. Fed-A-GEM alleviates catastrophic forgetting by leveraging local buffer samples and aggregated buffer gradients, thus preserving knowledge across multiple clients. Our method is combined with existing CFL techniques, enhancing their performance in the CFL context. Our experiments on standard benchmarks show consistent performance improvements across diverse scenarios. For example, in a task-incremental learning scenario using the CIFAR-100 dataset, our method can increase the accuracy by up to 27%. Our code is available at https://github.com/shenghongdai/Fed-A-GEM.
Abstract（参考訳）: CFL(Continuous Federated Learning)は、複数の分散クライアントが継続的データストリームから適応的に学習する現実世界のアプリケーションを実現するために不可欠である。 CFLにおける重要な課題は、新しい情報を学ぶ際に、モデルが以前取得した知識を失う破滅的な忘れを緩和することである。既存のアプローチは、デバイスストレージ容量の制約とクライアント間のデータ分散の不均一性のために、しばしば困難に直面します。いくつかのCFLアルゴリズムはこれらの課題に対処しているが、それらはしばしばタスク境界(新しいタスクがいつ始まるかを知ること)の可用性に関する非現実的な仮定に依存している。これらの制約に対処するため,バッファベースの勾配投影手法を用いたA-GEM法(Chaudhry et al , 2019)のフェデレーションであるFed-A-GEMを導入する。 Fed-A-GEMは、ローカルバッファサンプルと集約バッファ勾配を活用することで破滅的な忘れを軽減し、複数のクライアント間で知識を保持する。提案手法は既存のCFL技術と組み合わせて,CFLコンテキストにおける性能を向上させる。標準ベンチマークの実験では、さまざまなシナリオで一貫したパフォーマンス改善が示されています。例えば、CIFAR-100データセットを用いたタスク増分学習シナリオでは、その精度を最大27%向上させることができる。私たちのコードはhttps://github.com/shenghongdai/Fed-A-GEM.comで公開されています。

関連論文リスト

On the Convergence of Continual Federated Learning Using Incrementally Aggregated Gradients [2.2530496464901106]
機械学習の聖杯は、連続的フェデレーション学習(CFL)によって、ストリーミングデータから学習しながら、AIシステムの効率、プライバシ、スケーラビリティを高めることである。本稿では、エッジベースのメモリ勾配更新と、現在のデータに対する集約勾配からなる新しいリプレイメモリベースのフェデレーション戦略を提案する。我々は,C-FLAGが,タスクとクラスインクリメンタル設定の両方において,精度や忘れなどの指標に関して,最先端のベースラインを上回っていることを実証的に示す。
論文参考訳（メタデータ） (2024-11-12T17:36:20Z)
Diffusion-Driven Data Replay: A Novel Approach to Combat Forgetting in Federated Class Continual Learning [13.836798036474143]
Federated Class Continual Learningにおける大きな課題は、破滅的な忘れ方だ。本研究では拡散モデルに基づく新しいデータ再生手法を提案する。我々の手法は既存のベースラインを大きく上回っている。
論文参考訳（メタデータ） (2024-09-02T10:07:24Z)
Flashback: Understanding and Mitigating Forgetting in Federated Learning [7.248285042377168]
フェデレートラーニング(FL)では、忘れたり、ラウンド全体で知識が失われたりすると、ハマーズアルゴリズムが収束する。我々は,新たな知識獲得の過程で,忘れをきめ細かく測定し,認識を確実にする指標を導入する。本稿では,局所的なモデルを正規化し,その知識を効果的に集約する動的蒸留手法を用いたFLアルゴリズムであるFlashbackを提案する。
論文参考訳（メタデータ） (2024-02-08T10:52:37Z)
Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文参考訳（メタデータ） (2023-11-03T13:34:44Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Improving information retention in large scale online continual learning [99.73847522194549]
オンライン連続学習は、既存の知識を維持しながら、新しいデータに効率的に適応することを目的としている。最近の研究は、リプレイバッファが無制限であっても、大規模なOCLでは情報保持が問題であり続けていることを示唆している。非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。
論文参考訳（メタデータ） (2022-10-12T16:59:43Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Towards Federated Learning on Time-Evolving Heterogeneous Data [13.080665001587281]
Federated Learning(FL)は、エッジデバイス上でクライアントデータのローカリティを保証することによって、プライバシを保護する、新たな学習パラダイムである。異種データの最適化に関する最近の研究にもかかわらず、実世界のシナリオにおける異種データの時間進化の影響は十分に研究されていない。本稿では,FLの時間発展的不均一性を捉えるために,フレキシブルなフレームワークであるContinual Federated Learning (CFL)を提案する。
論文参考訳（メタデータ） (2021-12-25T14:58:52Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
Bayesian Federated Learning over Wireless Networks [87.37301441859925]
フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-12-31T07:32:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。