論文の概要: No One Left Behind: Real-World Federated Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2302.00903v1
- Date: Thu, 2 Feb 2023 06:41:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-03 15:05:02.293964
- Title: No One Left Behind: Real-World Federated Class-Incremental Learning
- Title（参考訳）: 誰も残っていない:現実世界のフェデレーション・クラス・インクリメンタル・ラーニング
- Authors: Jiahua Dong, Yang Cong, Gan Sun, Yulun Zhang, Bernt Schiele and
Dengxin Dai
- Abstract要約: そこで我々は,局所的・グローバル的破滅的な過去のカテゴリーの忘れを解消するために,局所的・グローバル的アンチフォーゲッティング(LGA)モデルを提案する。
クラス不均衡なローカルクライアントに対処して、局所的忘れを克服することを考えると、カテゴリバランスの勾配適応補償損失を発生させる。
プロキシサーバは、異なるクライアント間の非IIDクラス不均衡に起因するグローバルな忘れに対処するように設計されている。
- 参考スコア（独自算出の注目度）: 128.3860191558907
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a hot collaborative training framework via
aggregating model parameters of decentralized local clients. However, most
existing models unreasonably assume that data categories of FL framework are
known and fxed in advance. It renders the global model to signifcantly degrade
recognition performance on old categories (i.e., catastrophic forgetting), when
local clients receive new categories consecutively under limited memory of
storing old categories. Moreover, some new local clients that collect novel
categories unseen by other clients may be introduced to the FL training
irregularly, which further exacerbates the catastrophic forgetting on old
categories. To tackle the above issues, we propose a novel Local-Global
Anti-forgetting (LGA) model to address local and global catastrophic forgetting
on old categories, which is a pioneering work to explore a global
class-incremental model in the FL feld. Specifcally, considering tackling class
imbalance of local client to surmount local forgetting, we develop a
category-balanced gradient-adaptive compensation loss and a category
gradient-induced semantic distillation loss. They can balance heterogeneous
forgetting speeds of hard-to-forget and easy-to-forget old categories, while
ensure intrinsic class relations consistency within different incremental
tasks. Moreover, a proxy server is designed to tackle global forgetting caused
by Non-IID class imbalance between different clients. It collects perturbed
prototype images of new categories from local clients via prototype gradient
communication under privacy preservation, and augments them via self-supervised
prototype augmentation to choose the best old global model and improve local
distillation gain. Experiments on representative datasets verify superior
performance of our model against other comparison methods.
- Abstract（参考訳）: Federated Learning(FL)は、分散化されたローカルクライアントのモデルパラメータを集約する、ホットコラボレーティブなトレーニングフレームワークである。
しかし、既存のモデルの多くは、FLフレームワークのデータカテゴリが事前に知られ、fxされていると不当に仮定している。
ローカルクライアントが古いカテゴリを記憶する限られたメモリ下で連続して新しいカテゴリを受け取ると、グローバルモデルが古いカテゴリ(すなわち壊滅的な忘れ)の認識性能を著しく低下させる。
さらに、新しいカテゴリを収集した新しいローカルクライアントは、flトレーニングに不規則に導入され、古いカテゴリの壊滅的な忘れ方をさらに悪化させる可能性がある。
以上の課題に対処するために,従来のカテゴリーにおける局所的・グローバル的破滅的な忘れを解消する,新たな局所的・グローバル的アンチフォッゲッティング(LGA)モデルを提案する。
具体的には,局所的クライアントのクラス不均衡を考慮し,局所的リテインティングを克服し,カテゴリ均衡勾配適応補償損失とカテゴリ勾配誘起意味蒸留損失について検討する。
それらは、異なるインクリメンタルタスク内で固有のクラス関係の整合性を確保しながら、不均一な忘れ物速度のバランスをとることができる。
さらに、プロキシサーバは、異なるクライアント間の非IIDクラス不均衡に起因するグローバルな忘れに対処するように設計されている。
プライバシー保護下でのプロトタイプグラデーションコミュニケーションを通じて、ローカルクライアントから新しいカテゴリの摂動的プロトタイプ画像を収集し、自己監督型プロトタイプ拡張により、最良のグローバルモデルを選択し、ローカル蒸留ゲインを改善する。
代表的データセットの実験は、他の比較手法と比較して、我々のモデルの優れた性能を検証する。
関連論文リスト
- Regularizing and Aggregating Clients with Class Distribution for Personalized Federated Learning [0.8287206589886879]
クラスワイドフェデレーション(cwFedAVG) クラスワイドで、サーバ上のクラスごとに複数のグローバルモデルを作成する。
各局所モデルは、その推定された局所クラス分布によって重み付けされたこれらの大域的モデルを統合し、深いネットワーク重みのL2ノルムから導かれる。
また,局所分布推定の精度を高めるために,新たにWDR (Weight Distribution Regularizer) を設計した。
論文 参考訳（メタデータ） (2024-06-12T01:32:24Z) - Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。
本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。
提案手法は最先端手法に比べて平均精度が13%高い。
論文 参考訳（メタデータ） (2023-11-14T14:37:33Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Federated Incremental Semantic Segmentation [42.66387280141536]
フェデレート学習に基づくセマンティックセマンティックセグメンテーション(FSS)は、ローカルクライアントでの分散トレーニングを通じて広く注目を集めている。
ほとんどのFSSモデルは、カテゴリが事前に固定されていると仮定しており、実用的な応用において古いカテゴリを忘れている。
本稿では,クライアント内およびクライアント間両方の側面から,古いクラスにおける異種忘れに対処するフォッッティングベース学習モデルを提案する。
論文 参考訳（メタデータ） (2023-04-10T14:34:23Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - Federated Class-Incremental Learning [32.676616274338734]
フェデレートラーニング(FL)は、分散クライアント上でのデータプライベートなコラボレーティブトレーニングを通じて注目を集めている。
ほとんどの既存のメソッドは、フレームワーク全体のオブジェクトクラスが時間とともに固定されていると非現実的に仮定します。
我々は,グローバルクラスインクリメンタルモデルを学ぶために,Global-Local Forgetting Compensation (GLFC) モデルを開発した。
論文 参考訳（メタデータ） (2022-03-22T05:58:44Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。