論文の概要: Federated Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2203.11473v1
• Date: Tue, 22 Mar 2022 05:58:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-24 05:28:10.317065
• Title: Federated Class-Incremental Learning
• Title（参考訳）: Federated Class-Incremental Learning
• Authors: Jiahua Dong, Lixu Wang, Zhen Fang, Gan Sun, Shichao Xu, Xiao Wang, Qi Zhu
• Abstract要約: フェデレートラーニング(FL)は、分散クライアント上でのデータプライベートなコラボレーティブトレーニングを通じて注目を集めている。 ほとんどの既存のメソッドは、フレームワーク全体のオブジェクトクラスが時間とともに固定されていると非現実的に仮定します。 我々は,グローバルクラスインクリメンタルモデルを学ぶために,Global-Local Forgetting Compensation (GLFC) モデルを開発した。
• 参考スコア（独自算出の注目度）: 32.676616274338734
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Federated learning (FL) has attracted growing attention via data-private collaborative training on decentralized clients. However, most existing methods unrealistically assume object classes of the overall framework are fixed over time. It makes the global model suffer from significant catastrophic forgetting on old classes in real-world scenarios, where local clients often collect new classes continuously and have very limited storage memory to store old classes. Moreover, new clients with unseen new classes may participate in the FL training, further aggravating the catastrophic forgetting of the global model. To address these challenges, we develop a novel Global-Local Forgetting Compensation (GLFC) model, to learn a global class incremental model for alleviating the catastrophic forgetting from both local and global perspectives. Specifically, to address local forgetting caused by class imbalance at the local clients, we design a class-aware gradient compensation loss and a class-semantic relation distillation loss to balance the forgetting of old classes and distill consistent inter-class relations across tasks. To tackle the global forgetting brought by the non-i.i.d class imbalance across clients, we propose a proxy server that selects the best old global model to assist the local relation distillation. Moreover, a prototype gradient-based communication mechanism is developed to protect privacy. Our model outperforms state-of-the-art methods by 4.4%-15.1% in terms of average accuracy on representative benchmark datasets.
• Abstract（参考訳）: フェデレートラーニング(FL)は、分散クライアント上でのデータプライベートな協調トレーニングを通じて注目を集めている。 しかし、既存のメソッドの多くは非現実的にフレームワーク全体のオブジェクトクラスが時間とともに固定されていると仮定している。 ローカルクライアントは、しばしば新しいクラスを継続的に収集し、古いクラスを保存するために非常に限られたストレージメモリを持つ。 さらに、新しいクラスを持つ新しいクライアントがflトレーニングに参加し、グローバルモデルの破滅的な忘れ方をさらに悪化させる可能性がある。 これらの課題に対処するため,我々はグローバルクラスインクリメンタルモデル(GLFC)を開発し,地域とグローバルの両方の観点から破滅的な忘れを緩和する。 具体的には, ローカルクライアントにおけるクラス不均衡による局所的忘れを解消するために, タスク間の一貫したクラス間関係を定量化するために, クラス間勾配補償損失とクラス間関係蒸留損失を設計する。 クライアント間の非i.dクラス不均衡がもたらしたグローバルな忘れを解消するため,ローカルな関係蒸留を支援するため,最も古いグローバルモデルを選択するプロキシサーバを提案する。 さらに,プライバシを保護するために,勾配に基づく通信機構の試作を行った。 本モデルは,代表的なベンチマークデータセットの平均精度の点で,最先端手法を4.4%-15.1%上回っている。

関連論文リスト

• Recovering Global Data Distribution Locally in Federated Learning [7.885010255812708]
  Federated Learning(FL)は、複数のクライアント間のコラボレーションを可能にする分散機械学習パラダイムである。 FLにおける大きな課題はラベルの不均衡であり、クライアントは少数派と欠落したクラスを多数持っている間、特定のクラスを独占する可能性がある。 本稿では,この課題に対処するための新しいアプローチであるReGLを提案し,その鍵となる考え方は,グローバルなデータ分布を局所的に検索することである。
  論文  参考訳（メタデータ） (2024-09-21T08:35:04Z)
• Regularizing and Aggregating Clients with Class Distribution for Personalized Federated Learning [0.8287206589886879]
  クラスワイドフェデレーション(cwFedAVG) クラスワイドで、サーバ上のクラスごとに複数のグローバルモデルを作成する。 各局所モデルは、その推定された局所クラス分布によって重み付けされたこれらの大域的モデルを統合し、深いネットワーク重みのL2ノルムから導かれる。 また,局所分布推定の精度を高めるために,新たにWDR (Weight Distribution Regularizer) を設計した。
  論文  参考訳（メタデータ） (2024-06-12T01:32:24Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• No One Left Behind: Real-World Federated Class-Incremental Learning [111.77681016996202]
  ローカル・グローバル・アンチ・フォーゲッティング(LGA)モデルは、局所的およびグローバルな破滅的な忘れに対処する。 本研究は,カテゴリ均衡型勾配適応型補償損失とカテゴリ勾配誘導型セマンティック蒸留損失を開発する。 ローカルクライアントから収集した新しいカテゴリの摂動型プロトタイプイメージを、自己監督型プロトタイプ拡張を通じて拡張する。
  論文  参考訳（メタデータ） (2023-02-02T06:41:02Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Tackling Data Heterogeneity in Federated Learning with Class Prototypes [44.746340839025194]
  パーソナライズと一般化の両面において,ローカルモデルの性能を改善する新しい手法であるFedNHを提案する。 クラスセマンティクスを注入することで局所モデルを改善する一方で,一様性を付与することでプロトタイプの崩壊に対処できることを示す。
  論文  参考訳（メタデータ） (2022-12-06T05:15:38Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Think Locally, Act Globally: Federated Learning with Local and Global Representations [92.68484710504666]
  フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。 本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。 また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
  論文  参考訳（メタデータ） (2020-01-06T12:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。