論文の概要: Overcoming Catastrophic Forgetting in Federated Class-Incremental Learning via Federated Global Twin Generator
- arxiv url: http://arxiv.org/abs/2407.11078v1
- Date: Sat, 13 Jul 2024 08:23:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 20:00:37.470768
- Title: Overcoming Catastrophic Forgetting in Federated Class-Incremental Learning via Federated Global Twin Generator
- Title（参考訳）: フェデレーション・グローバルツイン・ジェネレータによるフェデレーション・クラスインクリメンタル・ラーニングにおけるカタストロフィック・フォーミングの克服
- Authors: Thinh Nguyen, Khoa D Doan, Binh T. Nguyen, Danh Le-Phuoc, Kok-Seng Wong,
- Abstract要約: Federated Global Twin Generator (FedGTG)はFCILフレームワークで、クライアントデータにアクセスすることなく、グローバル側でプライバシ保護された生成モデルトレーニングを利用する。
我々は自然画像上でのFedGTGの頑健さと、平坦な局所性ミニマに収束し、より良い予測信頼(校正)を達成する能力について分析する。
CIFAR-10, CIFAR-100, および小画像Netの実験結果から, 従来のフレームワークと比較してFedGTGの精度と補正精度の向上が示された。
- 参考スコア（独自算出の注目度）: 13.808765929040677
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Class-Incremental Learning (FCIL) increasingly becomes important in the decentralized setting, where it enables multiple participants to collaboratively train a global model to perform well on a sequence of tasks without sharing their private data. In FCIL, conventional Federated Learning algorithms such as FedAVG often suffer from catastrophic forgetting, resulting in significant performance declines on earlier tasks. Recent works, based on generative models, produce synthetic images to help mitigate this issue across all classes, but these approaches' testing accuracy on previous classes is still much lower than recent classes, i.e., having better plasticity than stability. To overcome these issues, this paper presents Federated Global Twin Generator (FedGTG), an FCIL framework that exploits privacy-preserving generative-model training on the global side without accessing client data. Specifically, the server trains a data generator and a feature generator to create two types of information from all seen classes, and then it sends the synthetic data to the client side. The clients then use feature-direction-controlling losses to make the local models retain knowledge and learn new tasks well. We extensively analyze the robustness of FedGTG on natural images, as well as its ability to converge to flat local minima and achieve better-predicting confidence (calibration). Experimental results on CIFAR-10, CIFAR-100, and tiny-ImageNet demonstrate the improvements in accuracy and forgetting measures of FedGTG compared to previous frameworks.
- Abstract（参考訳）: 複数の参加者が、プライベートデータを共有することなく、グローバルなモデルを協調的にトレーニングし、タスクのシーケンスでうまく機能させることができる。
FCILでは、FedAVGのような従来のフェデレート学習アルゴリズムは、しばしば破滅的な忘れ込みに悩まされ、初期のタスクでは性能が大幅に低下する。
生成モデルに基づく最近の研究は、全てのクラスでこの問題を緩和するために合成画像を生成するが、これらのアプローチによる以前のクラスでの試験精度は、最近のクラスよりもはるかに低い。
本稿では,クライアントデータにアクセスすることなく,グローバル側におけるプライバシ保護型生成モデルトレーニングを活用するFCILフレームワークであるFederated Global Twin Generator (FedGTG)を提案する。
具体的には、サーバはデータジェネレータと機能ジェネレータをトレーニングし、すべてのクラスから2種類の情報を生成し、その後、合成データをクライアント側に送信する。
次に、クライアントは機能指向制御損失を使用して、ローカルモデルを知識を保持し、新しいタスクをうまく学習させる。
自然画像上でのFedGTGのロバスト性だけでなく,局所的に平坦なミニマに収束し,予測信頼性(校正)を向上させる能力も広く分析している。
CIFAR-10, CIFAR-100, および小画像Netの実験結果から, 従来のフレームワークと比較してFedGTGの精度と補正精度の向上が示された。
関連論文リスト
- Recovering Global Data Distribution Locally in Federated Learning [7.885010255812708]
Federated Learning(FL)は、複数のクライアント間のコラボレーションを可能にする分散機械学習パラダイムである。
FLにおける大きな課題はラベルの不均衡であり、クライアントは少数派と欠落したクラスを多数持っている間、特定のクラスを独占する可能性がある。
本稿では,この課題に対処するための新しいアプローチであるReGLを提案し,その鍵となる考え方は,グローバルなデータ分布を局所的に検索することである。
論文 参考訳（メタデータ） (2024-09-21T08:35:04Z) - Federated Class-Incremental Learning with Hierarchical Generative Prototypes [10.532838477096055]
Federated Learning (FL)は、複数のデバイス(クライアント)に分散した計算をすることで、ディープモデルのトレーニングを解き放つことを目的としている。
提案手法は,学習可能なプロンプトを用いてトレーニング済みのバックボーンを効率よく微調整することにより,最終層のバイアスを抑える。
提案手法は現状を著しく改善し, 平均精度は+7.8%向上した。
論文 参考訳（メタデータ） (2024-06-04T16:12:27Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。
近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。
本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文 参考訳（メタデータ） (2023-09-14T03:48:27Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。
自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。
本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
論文 参考訳（メタデータ） (2022-11-20T06:13:06Z) - Federated Adversarial Training with Transformers [16.149924042225106]
フェデレーテッド・ラーニング(FL)は、プライバシを保ちながら、分散クライアントのデータ上でグローバルモデルトレーニングを可能にするために登場した。
本稿では,異なるトークン化と分類ヘッド技術を用いた異なるフェデレーションモデルアグリゲーション手法と異なるビジョントランスフォーマーモデルによる実現可能性について検討する。
論文 参考訳（メタデータ） (2022-06-05T09:07:09Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。