論文の概要: Federated Orthogonal Training: Mitigating Global Catastrophic Forgetting
in Continual Federated Learning
- arxiv url: http://arxiv.org/abs/2309.01289v2
- Date: Sun, 15 Oct 2023 23:37:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 03:39:16.031795
- Title: Federated Orthogonal Training: Mitigating Global Catastrophic Forgetting
in Continual Federated Learning
- Title（参考訳）: 連立直交訓練--連立学習における世界大惨事の回避
- Authors: Yavuz Faruk Bakman, Duygu Nur Yaldiz, Yahya H. Ezzeldin, Salman
Avestimehr
- Abstract要約: フェデレート・オーソゴナル・トレーニング(FOT)という新しい手法を提案し,フェデレーション・ラーニング(CFL)における世界的な破滅的な忘れに対処する。
提案アルゴリズムは,従来のタスクに対して,各レイヤのグローバルな入力部分空間を抽出し,各レイヤのグローバルなプリンシパル部分空間であるような新しいタスクの集約された更新を,各レイヤのグローバルなプリンシパル部分空間に修正する。
FOTは、最小の計算と通信コストしか必要とせず、平均精度が15%まで向上する。
- 参考スコア（独自算出の注目度）: 18.830195663814926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) has gained significant attraction due to its ability
to enable privacy-preserving training over decentralized data. Current
literature in FL mostly focuses on single-task learning. However, over time,
new tasks may appear in the clients and the global model should learn these
tasks without forgetting previous tasks. This real-world scenario is known as
Continual Federated Learning (CFL). The main challenge of CFL is Global
Catastrophic Forgetting, which corresponds to the fact that when the global
model is trained on new tasks, its performance on old tasks decreases. There
have been a few recent works on CFL to propose methods that aim to address the
global catastrophic forgetting problem. However, these works either have
unrealistic assumptions on the availability of past data samples or violate the
privacy principles of FL. We propose a novel method, Federated Orthogonal
Training (FOT), to overcome these drawbacks and address the global catastrophic
forgetting in CFL. Our algorithm extracts the global input subspace of each
layer for old tasks and modifies the aggregated updates of new tasks such that
they are orthogonal to the global principal subspace of old tasks for each
layer. This decreases the interference between tasks, which is the main cause
for forgetting. We empirically show that FOT outperforms state-of-the-art
continual learning methods in the CFL setting, achieving an average accuracy
gain of up to 15% with 27% lower forgetting while only incurring a minimal
computation and communication cost.
- Abstract（参考訳）: Federated Learning (FL)は、分散データによるプライバシー保護トレーニングを可能にする能力によって、大きな注目を集めている。
FLの現在の文献は主にシングルタスク学習に焦点を当てている。
しかし、時間が経つにつれて、クライアントに新しいタスクが現れ、グローバルモデルは以前のタスクを忘れずにこれらのタスクを学習すべきである。
この現実世界のシナリオはcontinual federated learning (cfl)として知られている。
CFLの主な課題はGlobal Catastrophic Forgettingであり、これは、グローバルモデルが新しいタスクで訓練されると、古いタスクのパフォーマンスが低下するという事実に対応する。
近年CFLにおいて、世界的な破滅的な忘れの問題に対処する手法を提案する研究がいくつか行われている。
しかしながら、これらの作業は過去のデータサンプルの可用性に関する非現実的な仮定を持つか、flのプライバシ原則に違反する。
本稿では,これらの欠点を克服し,CFLにおける世界的な破滅的忘れを解消する新たな手法であるFOTを提案する。
提案手法は,古いタスクに対する各レイヤのグローバル入力サブスペースを抽出し,新しいタスクの集約された更新を,各レイヤの古いタスクのグローバルプリンシパルサブスペースと直交するように修正する。
これにより、タスク間の干渉が減少する。
実験により,fotはcfl設定において最先端の連続学習手法を上回っており,最大15%の精度向上を達成し,最小の計算と通信コストを伴わずに27%の精度で学習できることを示した。
関連論文リスト
- On the Convergence of Continual Federated Learning Using Incrementally Aggregated Gradients [2.2530496464901106]
機械学習の聖杯は、連続的フェデレーション学習(CFL)によって、ストリーミングデータから学習しながら、AIシステムの効率、プライバシ、スケーラビリティを高めることである。
本稿では、エッジベースのメモリ勾配更新と、現在のデータに対する集約勾配からなる新しいリプレイメモリベースのフェデレーション戦略を提案する。
我々は,C-FLAGが,タスクとクラスインクリメンタル設定の両方において,精度や忘れなどの指標に関して,最先端のベースラインを上回っていることを実証的に示す。
論文 参考訳（メタデータ） (2024-11-12T17:36:20Z) - Buffer-based Gradient Projection for Continual Federated Learning [16.879024856283323]
Fed-A-GEMは、局所バッファサンプルと集約バッファ勾配を利用して破滅的な忘れを緩和する。
標準ベンチマークの実験では、さまざまなシナリオで一貫したパフォーマンス改善が示されています。
論文 参考訳（メタデータ） (2024-09-03T03:50:19Z) - FAGH: Accelerating Federated Learning with Approximated Global Hessian [0.27309692684728615]
FLトレーニングを高速化するために,大域的ヘッセン法(FAGH)を用いたFLを提案する。
FAGHは、グローバルモデルトレーニングの収束を加速し、通信ラウンドの数を減らし、トレーニング時間を短縮する。
特に、FAGHは最先端のFLトレーニング方法よりも優れています。
論文 参考訳（メタデータ） (2024-03-16T23:24:03Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - Federated Continual Novel Class Learning [68.05835753892907]
本稿では,グローバルな新規クラス数を正確に推定できるグローバルアライメント学習フレームワークを提案する。
Galは新規クラスの性能を大幅に改善し、精度は5.1%から10.6%に向上した。
Galは、様々な主流のフェデレートラーニングアルゴリズムに新しいクラス発見と学習能力を持たせるのに効果的であることが示されている。
論文 参考訳（メタデータ） (2023-12-21T00:31:54Z) - Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。
提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
論文 参考訳（メタデータ） (2022-12-16T02:43:52Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳（メタデータ） (2022-02-14T18:33:12Z) - A Communication-efficient Federated learning assisted by Central data:
Implementation of vertical training into Horizontal Federated learning [16.023049444744277]
フェデレートラーニング(FL)は、IoTで分散データセットでモデルを共同トレーニングするために登場した。
分散クライアント間の水平FLにおいて、中央機関はモデルアグリゲータとしてのみ機能し、そのグローバルな特徴を利用してモデルをさらに改善する。
本稿では,縦-水平連成学習(VHFL)プロセスを開発し,グローバルな特徴を,余分な通信ラウンドを伴わない縦-水平連成学習(VHFL)手法でエージェントと共有する。
論文 参考訳（メタデータ） (2021-12-02T08:02:57Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Global Knowledge Distillation in Federated Learning [3.7311680121118345]
本稿では,従来のグローバルモデルから知識を学習し,局所バイアス学習問題に対処する,新たなグローバル知識蒸留法であるFedGKDを提案する。
提案手法の有効性を示すため,各種CVデータセット(CIFAR-10/100)と設定(非i.dデータ)について広範な実験を行った。
論文 参考訳（メタデータ） (2021-06-30T18:14:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。