論文の概要: No One Left Behind: Real-World Federated Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2302.00903v3
- Date: Thu, 16 Nov 2023 03:53:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 22:59:29.792546
- Title: No One Left Behind: Real-World Federated Class-Incremental Learning
- Title（参考訳）: 誰も残っていない:現実世界のフェデレーション・クラス・インクリメンタル・ラーニング
- Authors: Jiahua Dong, Hongliu Li, Yang Cong, Gan Sun, Yulun Zhang, Luc Van Gool
- Abstract要約: ローカル・グローバル・アンチ・フォーゲッティング(LGA)モデルは、局所的およびグローバルな破滅的な忘れに対処する。
本研究は,カテゴリ均衡型勾配適応型補償損失とカテゴリ勾配誘導型セマンティック蒸留損失を開発する。
ローカルクライアントから収集した新しいカテゴリの摂動型プロトタイプイメージを、自己監督型プロトタイプ拡張を通じて拡張する。
- 参考スコア（独自算出の注目度）: 111.77681016996202
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a hot collaborative training framework via
aggregating model parameters of decentralized local clients. However, most FL
methods unreasonably assume data categories of FL framework are known and fixed
in advance. Moreover, some new local clients that collect novel categories
unseen by other clients may be introduced to FL training irregularly. These
issues render global model to undergo catastrophic forgetting on old
categories, when local clients receive new categories consecutively under
limited memory of storing old categories. To tackle the above issues, we
propose a novel Local-Global Anti-forgetting (LGA) model. It ensures no local
clients are left behind as they learn new classes continually, by addressing
local and global catastrophic forgetting. Specifically, considering tackling
class imbalance of local client to surmount local forgetting, we develop a
category-balanced gradient-adaptive compensation loss and a category
gradient-induced semantic distillation loss. They can balance heterogeneous
forgetting speeds of hard-to-forget and easy-to-forget old categories, while
ensure consistent class-relations within different tasks. Moreover, a proxy
server is designed to tackle global forgetting caused by Non-IID class
imbalance between different clients. It augments perturbed prototype images of
new categories collected from local clients via self-supervised prototype
augmentation, thus improving robustness to choose the best old global model for
local-side semantic distillation loss. Experiments on representative datasets
verify superior performance of our model against comparison methods. The code
is available at https://github.com/JiahuaDong/LGA.
- Abstract（参考訳）: Federated Learning(FL)は、分散化されたローカルクライアントのモデルパラメータを集約する、ホットコラボレーティブなトレーニングフレームワークである。
しかし、ほとんどのFLメソッドは、FLフレームワークのデータカテゴリが事前に知られ、固定されていることを不当に仮定する。
さらに、他のクライアントが目に見えない新しいカテゴリを収集する新しいローカルクライアントも、FLトレーニングに不規則に導入することができる。
これらの問題により、グローバルモデルでは、古いカテゴリを記憶する限られたメモリの下で、ローカルクライアントが新しいカテゴリを連続的に受け取ると、古いカテゴリを壊滅的に忘れてしまう。
以上の課題に対処するため,我々はLGA(Local-Global Anti-forgetting)モデルを提案する。
ローカルおよびグローバルな破滅的な忘れ物に対処することで、新しいクラスを継続的に学習するローカルクライアントが残されることを保証します。
具体的には, 局所的クライアントの不均衡を克服し, 局所的リテインティングを克服するために, カテゴリー均衡勾配適応補償損失とカテゴリー勾配誘起意味蒸留損失について検討した。
それらは、異なるタスク内で一貫したクラス関係を確保しながら、忘れやすい、忘れやすいカテゴリの異種忘れ速度のバランスをとることができる。
さらに、プロキシサーバは、異なるクライアント間の非IIDクラス不均衡に起因するグローバルな忘れに対処するように設計されている。
ローカルクライアントから収集した新たなカテゴリを,自己監督型プロトタイプ拡張によりプロトタイプイメージに拡張し,局所側セマンティック蒸留損失の最良のグローバルモデルを選択するためのロバスト性を向上させる。
代表的なデータセットに関する実験は、比較手法に対するモデルの優れた性能を検証する。
コードはhttps://github.com/jiahuadong/lgaで入手できる。
関連論文リスト
- Regularizing and Aggregating Clients with Class Distribution for Personalized Federated Learning [0.8287206589886879]
クラスワイドフェデレーション(cwFedAVG) クラスワイドで、サーバ上のクラスごとに複数のグローバルモデルを作成する。
各局所モデルは、その推定された局所クラス分布によって重み付けされたこれらの大域的モデルを統合し、深いネットワーク重みのL2ノルムから導かれる。
また,局所分布推定の精度を高めるために,新たにWDR (Weight Distribution Regularizer) を設計した。
論文 参考訳（メタデータ） (2024-06-12T01:32:24Z) - Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。
本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。
提案手法は最先端手法に比べて平均精度が13%高い。
論文 参考訳（メタデータ） (2023-11-14T14:37:33Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Federated Incremental Semantic Segmentation [42.66387280141536]
フェデレート学習に基づくセマンティックセマンティックセグメンテーション(FSS)は、ローカルクライアントでの分散トレーニングを通じて広く注目を集めている。
ほとんどのFSSモデルは、カテゴリが事前に固定されていると仮定しており、実用的な応用において古いカテゴリを忘れている。
本稿では,クライアント内およびクライアント間両方の側面から,古いクラスにおける異種忘れに対処するフォッッティングベース学習モデルを提案する。
論文 参考訳（メタデータ） (2023-04-10T14:34:23Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - Federated Class-Incremental Learning [32.676616274338734]
フェデレートラーニング(FL)は、分散クライアント上でのデータプライベートなコラボレーティブトレーニングを通じて注目を集めている。
ほとんどの既存のメソッドは、フレームワーク全体のオブジェクトクラスが時間とともに固定されていると非現実的に仮定します。
我々は,グローバルクラスインクリメンタルモデルを学ぶために,Global-Local Forgetting Compensation (GLFC) モデルを開発した。
論文 参考訳（メタデータ） (2022-03-22T05:58:44Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。