論文の概要: CCFC++: Enhancing Federated Clustering through Feature Decorrelation
- arxiv url: http://arxiv.org/abs/2402.12852v1
- Date: Tue, 20 Feb 2024 09:31:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 16:09:41.793479
- Title: CCFC++: Enhancing Federated Clustering through Feature Decorrelation
- Title(参考訳): ccfc++: 機能分離によるフェデレーションクラスタリングの強化
- Authors: Jie Yan, Jing Liu, Yi-Zi Ning and Zhong-Yuan Zhang
- Abstract要約: フェデレートされたクラスタリングでは、複数のデータ保持クライアントが生データを交換することなくデータを協調的にグループ化する。
CCFCはクライアント間での不均一なデータに悩まされ、貧弱で不正なパフォーマンスをもたらす。
これを解決するために, CCFCにデコリレーション正則化器を導入する。
- 参考スコア(独自算出の注目度): 8.822947930471429
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In federated clustering, multiple data-holding clients collaboratively group
data without exchanging raw data. This field has seen notable advancements
through its marriage with contrastive learning, exemplified by
Cluster-Contrastive Federated Clustering (CCFC). However, CCFC suffers from
heterogeneous data across clients, leading to poor and unrobust performance.
Our study conducts both empirical and theoretical analyses to understand the
impact of heterogeneous data on CCFC. Findings indicate that increased data
heterogeneity exacerbates dimensional collapse in CCFC, evidenced by increased
correlations across multiple dimensions of the learned representations. To
address this, we introduce a decorrelation regularizer to CCFC. Benefiting from
the regularizer, the improved method effectively mitigates the detrimental
effects of data heterogeneity, and achieves superior performance, as evidenced
by a marked increase in NMI scores, with the gain reaching as high as 0.32 in
the most pronounced case.
- Abstract(参考訳): フェデレーションクラスタリングでは、複数のデータ保持クライアントが、生データを交換することなく協調してデータをグループ化する。
この分野は、クラスタ・コントラシブ・フェデレーション・クラスタリング(CCFC)によって実証された対照的な学習との結婚を通じて顕著な進歩を遂げてきた。
しかし、CCFCはクライアント間での不均一なデータに悩まされ、貧弱で不正なパフォーマンスをもたらす。
本研究では, CCFCにおける異種データの影響を実証的および理論的に解析する。
データの不均一性の増加はCCFCの次元崩壊を悪化させ、学習された表現の複数の次元にまたがる相関関係の増大によって証明された。
これを解決するために, CCFCにデコリレーション正則化器を導入する。
正則化器の利点を生かして、改良された方法は、データ不均一性の有害な効果を効果的に軽減し、NMIスコアが顕著に増加し、最も顕著な場合にゲインが最大0.32に達することにより、優れた性能を達成する。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳(メタデータ) (2024-04-29T05:55:23Z) - CCFC: Bridging Federated Clustering and Contrastive Learning [9.91610928326645]
本稿では,クラスタコントラスト・フェデレーション・クラスタリング(CCFC)という新しいフェデレーション・クラスタリング手法を提案する。
CCFCは、実用的な観点から、デバイス障害を扱う上で優れた性能を示す。
論文 参考訳(メタデータ) (2024-01-12T15:26:44Z) - Generalizable Heterogeneous Federated Cross-Correlation and Instance
Similarity Learning [60.058083574671834]
本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。
不均一な問題に対しては、無関係な公開データを通信に活用する。
局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
論文 参考訳(メタデータ) (2023-09-28T09:32:27Z) - Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。
本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
論文 参考訳(メタデータ) (2023-09-04T10:47:52Z) - On Counterfactual Data Augmentation Under Confounding [30.76982059341284]
トレーニングデータのバイアスを緩和する手段として、対実データ拡張が出現している。
これらのバイアスは、データ生成プロセスにおいて観測され、観測されていない様々な共役変数によって生じる。
提案手法は,既存の最先端手法が優れた結果を得るのにどのように役立つかを示す。
論文 参考訳(メタデータ) (2023-05-29T16:20:23Z) - CADIS: Handling Cluster-skewed Non-IID Data in Federated Learning with
Clustered Aggregation and Knowledge DIStilled Regularization [3.3711670942444014]
フェデレーション学習は、エッジデバイスがデータを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
我々は、実際のデータセットで発見されたクラスタスキュード非IIDと呼ばれる新しいタイプの非IIDデータに取り組む。
本稿では,クラスタ間の平等を保証するアグリゲーション方式を提案する。
論文 参考訳(メタデータ) (2023-02-21T02:53:37Z) - Cluster-guided Contrastive Graph Clustering Network [53.16233290797777]
クラスタ誘導コントラストグラフクラスタリングネットワーク(CCGC)を提案する。
我々は、兄弟のサブネットワーク間で重みが共有されない特別なシームズエンコーダを設計することにより、グラフの2つのビューを構築する。
意味的な負のサンプルペアを構築するために、異なる高信頼度クラスタの中心を負のサンプルとみなす。
論文 参考訳(メタデータ) (2023-01-03T13:42:38Z) - Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。
本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。
提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
論文 参考訳(メタデータ) (2023-01-03T05:38:43Z) - Rethinking Data Heterogeneity in Federated Learning: Introducing a New
Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。
私たちの観察は直感的である。
私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文 参考訳(メタデータ) (2022-09-30T17:15:19Z) - Augmentation-induced Consistency Regularization for Classification [25.388324221293203]
我々はCR-Augと呼ばれるデータ拡張に基づく一貫性の規則化フレームワークを提案する。
CR-Augは、データ拡張によって生成された異なるサブモデルの出力分布を互いに整合するように強制する。
画像と音声の分類タスクにCR-Augを実装し、その有効性を検証するために広範な実験を行う。
論文 参考訳(メタデータ) (2022-05-25T03:15:36Z) - Heterogeneous Federated Learning via Grouped Sequential-to-Parallel
Training [60.892342868936865]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。
本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。
その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
論文 参考訳(メタデータ) (2022-01-31T03:15:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。