論文の概要: Classifier Clustering and Feature Alignment for Federated Learning under Distributed Concept Drift
- arxiv url: http://arxiv.org/abs/2410.18478v1
- Date: Thu, 24 Oct 2024 07:04:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-25 12:49:19.007308
- Title: Classifier Clustering and Feature Alignment for Federated Learning under Distributed Concept Drift
- Title（参考訳）: 分散概念ドリフト下でのフェデレーション学習のための分類器クラスタリングと特徴アライメント
- Authors: Junbao Chen, Jingfeng Xue, Yong Wang, Zhenyan Liu, Lu Huang,
- Abstract要約: 本研究では、条件分布が$P(Y|X)$変化する実ドリフトに焦点を当てる。
分類器クラスタリングと機能アライメントを備えたフェデレート学習フレームワークであるFedCCFAを提案する。
以上の結果から,FedCCFAは様々なコンセプトドリフト環境下での既存手法よりも優れていたことが示唆された。
- 参考スコア（独自算出の注目度）: 5.566951183982973
- License:
- Abstract: Data heterogeneity is one of the key challenges in federated learning, and many efforts have been devoted to tackling this problem. However, distributed concept drift with data heterogeneity, where clients may additionally experience different concept drifts, is a largely unexplored area. In this work, we focus on real drift, where the conditional distribution $P(Y|X)$ changes. We first study how distributed concept drift affects the model training and find that local classifier plays a critical role in drift adaptation. Moreover, to address data heterogeneity, we study the feature alignment under distributed concept drift, and find two factors that are crucial for feature alignment: the conditional distribution $P(Y|X)$ and the degree of data heterogeneity. Motivated by the above findings, we propose FedCCFA, a federated learning framework with classifier clustering and feature alignment. To enhance collaboration under distributed concept drift, FedCCFA clusters local classifiers at class-level and generates clustered feature anchors according to the clustering results. Assisted by these anchors, FedCCFA adaptively aligns clients' feature spaces based on the entropy of label distribution $P(Y)$, alleviating the inconsistency in feature space. Our results demonstrate that FedCCFA significantly outperforms existing methods under various concept drift settings. Code is available at https://github.com/Chen-Junbao/FedCCFA.
- Abstract（参考訳）: データの不均一性は、連合学習における重要な課題の1つであり、この問題に対処するために多くの努力が注がれている。
しかし、データの不均一性を伴う分散コンセプトドリフトでは、クライアントは異なるコンセプトドリフトを経験することができるが、ほとんど探索されていない領域である。
本研究では、条件分布が$P(Y|X)$変化する実ドリフトに焦点を当てる。
まず,分散概念のドリフトがモデル学習にどのように影響するかを考察し,局所分類器がドリフト適応に重要な役割を果たすことを明らかにする。
さらに、データの不均一性に対処するため、分散概念ドリフト下での特徴アライメントを調査し、条件分布$P(Y|X)$とデータヘテロジニティの次数という特徴アライメントに不可欠な2つの要因を見出した。
以上の知見により,分類器クラスタリングと機能アライメントを備えたフェデレーション学習フレームワークであるFedCCFAを提案する。
分散コンセプトドリフト下でのコラボレーションを強化するため、FedCCFAクラスタはクラスレベルでローカル分類器を生成し、クラスタリング結果に応じてクラスタ化された特徴アンカーを生成する。
これらのアンカーの助けを借りて、FedCCFAはラベル分布のエントロピー($P(Y)$)に基づいてクライアントの特徴空間を適応的に整列し、特徴空間の不整合を緩和する。
以上の結果から,FedCCFAは様々なコンセプトドリフト環境下での既存手法よりも優れていたことが示唆された。
コードはhttps://github.com/Chen-Junbao/FedCCFAで入手できる。
関連論文リスト
- AdaFGL: A New Paradigm for Federated Node Classification with Topology
Heterogeneity [44.11777886421429]
Federated Graph Learning (FGL) はグラフニューラルネットワークに基づく分散フレームワークとして注目されている。
構造的非イド分割の概念を導入し、次に、UnderlineAdaptive UnderlineFederated UnderlineGraph UnderlineLearning (AdaFGL)と呼ばれる新しいパラダイムを示す。
提案したAdaFGLは,コミュニティ分割の3.24%,コミュニティ分割の5.57%,非イド分割の5.57%でベースラインを上回った。
論文 参考訳（メタデータ） (2024-01-22T08:23:31Z) - FedRC: Tackling Diverse Distribution Shifts Challenge in Federated Learning by Robust Clustering [4.489171618387544]
Federated Learning(FL)は、エッジデバイス上でクライアントデータを保持することによって、プライバシを保護する機械学習パラダイムである。
本稿では,多様な分布シフトの同時発生による学習課題を特定する。
提案するクラスタリングの原理に従う新しいクラスタリングアルゴリズムフレームワークであるFedRCを提案する。
論文 参考訳（メタデータ） (2023-01-29T06:50:45Z) - FedFA: Federated Learning with Feature Anchors to Align Features and
Classifiers for Heterogeneous Data [8.677832361022809]
フェデレーション学習は、複数のクライアントがデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。
一般的な解決策は、局所訓練中に体重のばらつきや特徴の不整合を規則化する補助的な損失を含む。
我々はFederated Learning with Feature Anchors (FedFA)という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-17T02:27:44Z) - Divide and Contrast: Source-free Domain Adaptation via Adaptive
Contrastive Learning [122.62311703151215]
Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。
DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。
さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
論文 参考訳（メタデータ） (2022-11-12T09:21:49Z) - Efficient Distribution Similarity Identification in Clustered Federated
Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。
既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。
以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
論文 参考訳（メタデータ） (2022-09-21T17:37:54Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳（メタデータ） (2022-03-22T14:06:26Z) - Heterogeneous Federated Learning via Grouped Sequential-to-Parallel
Training [60.892342868936865]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。
本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。
その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
論文 参考訳（メタデータ） (2022-01-31T03:15:28Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳（メタデータ） (2021-06-09T12:02:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。