論文の概要: On the Convergence of Continual Federated Learning Using Incrementally Aggregated Gradients
- arxiv url: http://arxiv.org/abs/2411.07959v1
- Date: Tue, 12 Nov 2024 17:36:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-13 13:20:06.852322
- Title: On the Convergence of Continual Federated Learning Using Incrementally Aggregated Gradients
- Title（参考訳）: 漸次集約勾配を用いた連続的フェデレーション学習の収束性について
- Authors: Satish Kumar Keshri, Nazreen Shah, Ranjitha Prasad,
- Abstract要約: 機械学習の聖杯は、連続的フェデレーション学習(CFL)によって、ストリーミングデータから学習しながら、AIシステムの効率、プライバシ、スケーラビリティを高めることである。
本稿では、エッジベースのメモリ勾配更新と、現在のデータに対する集約勾配からなる新しいリプレイメモリベースのフェデレーション戦略を提案する。
我々は,C-FLAGが,タスクとクラスインクリメンタル設定の両方において,精度や忘れなどの指標に関して,最先端のベースラインを上回っていることを実証的に示す。
- 参考スコア（独自算出の注目度）: 2.2530496464901106
- License:
- Abstract: The holy grail of machine learning is to enable Continual Federated Learning (CFL) to enhance the efficiency, privacy, and scalability of AI systems while learning from streaming data. The primary challenge of a CFL system is to overcome global catastrophic forgetting, wherein the accuracy of the global model trained on new tasks declines on the old tasks. In this work, we propose Continual Federated Learning with Aggregated Gradients (C-FLAG), a novel replay-memory based federated strategy consisting of edge-based gradient updates on memory and aggregated gradients on the current data. We provide convergence analysis of the C-FLAG approach which addresses forgetting and bias while converging at a rate of $O(1/\sqrt{T})$ over $T$ communication rounds. We formulate an optimization sub-problem that minimizes catastrophic forgetting, translating CFL into an iterative algorithm with adaptive learning rates that ensure seamless learning across tasks. We empirically show that C-FLAG outperforms several state-of-the-art baselines on both task and class-incremental settings with respect to metrics such as accuracy and forgetting.
- Abstract（参考訳）: 機械学習の聖杯は、連続的フェデレーション学習(CFL)によって、ストリーミングデータから学習しながら、AIシステムの効率、プライバシ、スケーラビリティを高めることである。
CFLシステムの主な課題は、グローバルな破滅的な忘れを克服することであり、新しいタスクで訓練されたグローバルモデルの精度は、古いタスクで低下する。
本研究では、エッジベースのメモリの勾配更新と現在のデータへの集約勾配からなる新しいリプレイメモリベースのフェデレーション戦略であるC-FLAG(Continuousal Federated Learning with Aggregated Gradients)を提案する。
我々は、O(1/\sqrt{T})$ over $T$通信ラウンドで収束しながら、忘れとバイアスに対処するC-FLAGアプローチの収束解析を提供する。
我々は,CFLを適応学習率で反復的アルゴリズムに変換することで,タスク間のシームレスな学習を確実にする,破滅的な忘れを最小化する最適化サブプロブレムを定式化する。
我々は,C-FLAGが,タスクとクラスインクリメンタル設定の両方において,精度や忘れなどの指標に関して,最先端のベースラインを上回っていることを実証的に示す。
関連論文リスト
- Buffer-based Gradient Projection for Continual Federated Learning [16.879024856283323]
Fed-A-GEMは、局所バッファサンプルと集約バッファ勾配を利用して破滅的な忘れを緩和する。
標準ベンチマークの実験では、さまざまなシナリオで一貫したパフォーマンス改善が示されています。
論文 参考訳（メタデータ） (2024-09-03T03:50:19Z) - CG-FedLLM: How to Compress Gradients in Federated Fune-tuning for Large Language Models [21.919883617413358]
本研究では,Large-Language Models (LLMs) における通信効率向上のための圧縮勾配の革新的手法を提案する。
また、このプライバシー中心のフレームワークにおける信号対雑音比、圧縮率、ロバスト性に着目した一連の実験分析を行った。
論文 参考訳（メタデータ） (2024-05-22T15:32:38Z) - Adaptive Coded Federated Learning: Privacy Preservation and Straggler Mitigation [33.56146654796337]
トラグラーの負の影響を軽減するために、符号化された連合学習フレームワークが提案されている。
本稿では,この欠点を克服するために,適応符号化フェデレーション学習(ACFL)という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-03-22T01:51:48Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳（メタデータ） (2024-02-28T03:27:10Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted
Dual Averaging [104.41634756395545]
フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。
局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。
textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
論文 参考訳（メタデータ） (2023-02-13T05:10:30Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Stochastic Coded Federated Learning: Theoretical Analysis and Incentive
Mechanism Design [18.675244280002428]
我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。
SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。
SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
論文 参考訳（メタデータ） (2022-11-08T09:58:36Z) - Federated Stochastic Gradient Descent Begets Self-Induced Momentum [151.4322255230084]
Federated Learning(FL)は、モバイルエッジシステムに適用可能な、新興の機械学習手法である。
このような条件下での勾配降下(SGD)への走行は,大域的な集約プロセスに運動量的な項を加えるとみなすことができる。
論文 参考訳（メタデータ） (2022-02-17T02:01:37Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Adaptive Gradient Sparsification for Efficient Federated Learning: An
Online Learning Approach [11.986523531539165]
フェデレーテッド・ラーニング(FL)は、地理的に分散したデータを用いて機械学習モデルをトレーニングするための新興技術である。
勾配スペーシフィケーション(GS)を適用することができ、完全な勾配の代わりに、勾配の重要な要素の小さなサブセットが通信される。
本稿では,近距離通信とトレードオフを自動的に判定する新しいオンライン学習定式化とアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-01-14T13:09:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。