論文の概要: Federated Continual Novel Class Learning
- arxiv url: http://arxiv.org/abs/2312.13500v1
- Date: Thu, 21 Dec 2023 00:31:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 16:14:53.148617
- Title: Federated Continual Novel Class Learning
- Title（参考訳）: 連帯連続型新学級学習
- Authors: Lixu Wang, Chenxi Liu, Junfeng Guo, Jiahua Dong, Xiao Wang, Heng
Huang, Qi Zhu
- Abstract要約: 本稿では,グローバルな新規クラス数を正確に推定できるグローバルアライメント学習フレームワークを提案する。
Galは新規クラスの性能を大幅に改善し、精度は5.1%から10.6%に向上した。
Galは、様々な主流のフェデレートラーニングアルゴリズムに新しいクラス発見と学習能力を持たせるのに効果的であることが示されている。
- 参考スコア（独自算出の注目度）: 68.05835753892907
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In a privacy-focused era, Federated Learning (FL) has emerged as a promising
machine learning technique. However, most existing FL studies assume that the
data distribution remains nearly fixed over time, while real-world scenarios
often involve dynamic and continual changes. To equip FL systems with continual
model evolution capabilities, we focus on an important problem called Federated
Continual Novel Class Learning (FedCN) in this work. The biggest challenge in
FedCN is to merge and align novel classes that are discovered and learned by
different clients without compromising privacy. To address this, we propose a
Global Alignment Learning (GAL) framework that can accurately estimate the
global novel class number and provide effective guidance for local training
from a global perspective, all while maintaining privacy protection.
Specifically, GAL first locates high-density regions in the representation
space through a bi-level clustering mechanism to estimate the novel class
number, with which the global prototypes corresponding to novel classes can be
constructed. Then, GAL uses a novel semantic weighted loss to capture all
possible correlations between these prototypes and the training data for
mitigating the impact of pseudo-label noise and data heterogeneity. Extensive
experiments on various datasets demonstrate GAL's superior performance over
state-of-the-art novel class discovery methods. In particular, GAL achieves
significant improvements in novel-class performance, increasing the accuracy by
5.1% to 10.6% in the case of one novel class learning stage and by 7.8% to
17.9% in the case of two novel class learning stages, without sacrificing
known-class performance. Moreover, GAL is shown to be effective in equipping a
variety of different mainstream FL algorithms with novel class discovery and
learning capability, highlighting its potential for many real-world
applications.
- Abstract（参考訳）: プライバシー重視の時代において、フェデレーション・ラーニング(fl)は有望な機械学習技術として登場した。
しかし、既存のFL研究の多くは、データ分布は時間とともにほぼ固定されるが、現実のシナリオは動的かつ連続的な変化を伴うことが多いと仮定している。
flシステムを連続モデル進化能力に適合させるため、本研究において、フェデレーション連続新学級学習(federated continual novel class learning, fedcn)と呼ばれる重要な問題に焦点をあてる。
FedCNの最大の課題は、プライバシーを損なうことなく、異なるクライアントによって発見され、学習される新しいクラスをマージし、調整することだ。
そこで我々は,グローバル・アライメント・ラーニング(GAL)フレームワークを提案し,グローバル・ノベル・クラス・ナンバーを正確に推定し,グローバル・パースペクティブからローカル・トレーニングの効果的なガイダンスを提供する。
具体的には、GALはまず、2レベルクラスタリング機構を通じて表現空間内の高密度領域を特定し、新しいクラス番号を推定し、新しいクラスに対応するグローバルプロトタイプを構築できる。
そして、GALは、新しい意味重み付き損失を使用して、これらのプロトタイプと擬似ラベルノイズとデータ不均一性の影響を緩和するためのトレーニングデータとのすべての相関をキャプチャする。
様々なデータセットに対する大規模な実験により、GALは最先端の新しいクラス発見法よりも優れた性能を示している。
特にgalは、ノベルクラスのパフォーマンスが大幅に向上し、1つのノベルクラス学習段階において5.1%から10.6%、そして2つのノベルクラス学習段階において7.8%から17.9%に向上し、既知のクラスパフォーマンスを犠牲にすることなく精度が向上した。
さらに、GALはクラス発見と学習機能を備えた様々な主要なFLアルゴリズムの装備に有効であることが示されており、多くの実世界の応用の可能性を強調している。
関連論文リスト
- Adaptive Global-Local Representation Learning and Selection for
Cross-Domain Facial Expression Recognition [54.334773598942775]
ドメインシフトは、クロスドメイン顔表情認識(CD-FER)において重要な課題となる
適応的グローバルローカル表現学習・選択フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-20T02:21:41Z) - Generalizable Heterogeneous Federated Cross-Correlation and Instance
Similarity Learning [60.058083574671834]
本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。
不均一な問題に対しては、無関係な公開データを通信に活用する。
局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
論文 参考訳（メタデータ） (2023-09-28T09:32:27Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Class-relation Knowledge Distillation for Novel Class Discovery [16.461242381109276]
主な課題は、既知のクラスデータの知識を新しいクラスの学習に転送することである。
本稿では,既知のクラスに基づいて学習したモデルの予測クラス分布に基づいて,新しいクラスに対するクラス関係表現を提案する。
本稿では,クラス関係表現を利用して新しいクラスの学習を規則化する新しい知識蒸留フレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-18T11:35:57Z) - Towards Unbiased Training in Federated Open-world Semi-supervised
Learning [15.08153616709326]
本稿では,分散およびオープンな環境における重要な課題を解決するための,新しいフェデレートオープンワールドセミスーパーバイドラーニング(FedoSSL)フレームワークを提案する。
我々は,不確実性に留意された損失を抑えることで,局所的に見えないクラスとグローバルな見えないクラスの間のバイアスのあるトレーニングを緩和する。
提案したFedoSSLは、ベンチマークや実世界のデータセットに関する広範な実験を通じて検証される、最先端のFLメソッドに容易に適用することができる。
論文 参考訳（メタデータ） (2023-05-01T11:12:37Z) - FedRC: Tackling Diverse Distribution Shifts Challenge in Federated Learning by Robust Clustering [4.489171618387544]
Federated Learning(FL)は、エッジデバイス上でクライアントデータを保持することによって、プライバシを保護する機械学習パラダイムである。
本稿では,多様な分布シフトの同時発生による学習課題を特定する。
提案するクラスタリングの原理に従う新しいクラスタリングアルゴリズムフレームワークであるFedRCを提案する。
論文 参考訳（メタデータ） (2023-01-29T06:50:45Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - Multi-Level Branched Regularization for Federated Learning [46.771459325434535]
本稿では,各局所モデルにおける複数の補助的分岐を,複数の異なるレベルで局所的および大域的ワークをグラフトすることで構築する,新しいアーキテクチャ正規化手法を提案する。
従来の手法に比べて精度と効率の点で顕著な性能向上を示す。
論文 参考訳（メタデータ） (2022-07-14T13:59:26Z) - Multi-Source Domain Adaptation Based on Federated Knowledge Alignment [0.0]
フェデレートラーニング(FL)は、ユーザのプライバシを保護するために、分散モデル学習を容易にする。
我々は、異なるクライアントと対象タスクの特徴を整合させるフェデレーション知識アライメント(FedKA)を提案する。
論文 参考訳（メタデータ） (2022-03-22T11:42:25Z) - Novel Class Discovery in Semantic Segmentation [104.30729847367104]
セマンティックにおける新しいクラス発見(NCDSS)について紹介する。
ラベル付き非結合クラスの集合から事前の知識を与えられた新しいクラスを含むラベル付きイメージのセグメンテーションを目的としている。
NCDSSでは、オブジェクトと背景を区別し、画像内の複数のクラスの存在を処理する必要があります。
本稿では,エントロピーに基づく不確実性モデリングと自己学習(EUMS)フレームワークを提案し,ノイズの多い擬似ラベルを克服する。
論文 参考訳（メタデータ） (2021-12-03T13:31:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。