論文の概要: CCFC++: Enhancing Federated Clustering through Feature Decorrelation

• arxiv url: http://arxiv.org/abs/2402.12852v1
• Date: Tue, 20 Feb 2024 09:31:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 16:09:41.793479
• Title: CCFC++: Enhancing Federated Clustering through Feature Decorrelation
• Title（参考訳）: ccfc++: 機能分離によるフェデレーションクラスタリングの強化
• Authors: Jie Yan, Jing Liu, Yi-Zi Ning and Zhong-Yuan Zhang
• Abstract要約: フェデレートされたクラスタリングでは、複数のデータ保持クライアントが生データを交換することなくデータを協調的にグループ化する。 CCFCはクライアント間での不均一なデータに悩まされ、貧弱で不正なパフォーマンスをもたらす。 これを解決するために, CCFCにデコリレーション正則化器を導入する。
• 参考スコア（独自算出の注目度）: 8.822947930471429
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In federated clustering, multiple data-holding clients collaboratively group data without exchanging raw data. This field has seen notable advancements through its marriage with contrastive learning, exemplified by Cluster-Contrastive Federated Clustering (CCFC). However, CCFC suffers from heterogeneous data across clients, leading to poor and unrobust performance. Our study conducts both empirical and theoretical analyses to understand the impact of heterogeneous data on CCFC. Findings indicate that increased data heterogeneity exacerbates dimensional collapse in CCFC, evidenced by increased correlations across multiple dimensions of the learned representations. To address this, we introduce a decorrelation regularizer to CCFC. Benefiting from the regularizer, the improved method effectively mitigates the detrimental effects of data heterogeneity, and achieves superior performance, as evidenced by a marked increase in NMI scores, with the gain reaching as high as 0.32 in the most pronounced case.
• Abstract（参考訳）: フェデレーションクラスタリングでは、複数のデータ保持クライアントが、生データを交換することなく協調してデータをグループ化する。 この分野は、クラスタ・コントラシブ・フェデレーション・クラスタリング(CCFC)によって実証された対照的な学習との結婚を通じて顕著な進歩を遂げてきた。 しかし、CCFCはクライアント間での不均一なデータに悩まされ、貧弱で不正なパフォーマンスをもたらす。 本研究では, CCFCにおける異種データの影響を実証的および理論的に解析する。 データの不均一性の増加はCCFCの次元崩壊を悪化させ、学習された表現の複数の次元にまたがる相関関係の増大によって証明された。 これを解決するために, CCFCにデコリレーション正則化器を導入する。 正則化器の利点を生かして、改良された方法は、データ不均一性の有害な効果を効果的に軽減し、NMIスコアが顕著に増加し、最も顕著な場合にゲインが最大0.32に達することにより、優れた性能を達成する。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Adaptive Self-supervised Robust Clustering for Unstructured Data with Unknown Cluster Number [12.926206811876174]
  適応型自己教師型ロバストクラスタリング(Adaptive Self-supervised Robust Clustering, ASRC)と呼ばれる非構造化データに適した,新たな自己教師型ディープクラスタリング手法を提案する。 ASRCはグラフ構造とエッジ重みを適応的に学習し、局所構造情報と大域構造情報の両方をキャプチャする。 ASRCは、クラスタ数の事前知識に依存するメソッドよりも優れており、非構造化データのクラスタリングの課題に対処する上での有効性を強調している。
  論文  参考訳（メタデータ） (2024-07-29T15:51:09Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• CCFC: Bridging Federated Clustering and Contrastive Learning [9.91610928326645]
  本稿では,クラスタコントラスト・フェデレーション・クラスタリング(CCFC)という新しいフェデレーション・クラスタリング手法を提案する。 CCFCは、実用的な観点から、デバイス障害を扱う上で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-12T15:26:44Z)
• Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning [60.058083574671834]
  本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。 不均一な問題に対しては、無関係な公開データを通信に活用する。 局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
  論文  参考訳（メタデータ） (2023-09-28T09:32:27Z)
• Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。 本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
  論文  参考訳（メタデータ） (2023-09-04T10:47:52Z)
• On Counterfactual Data Augmentation Under Confounding [30.76982059341284]
  トレーニングデータのバイアスを緩和する手段として、対実データ拡張が出現している。 これらのバイアスは、データ生成プロセスにおいて観測され、観測されていない様々な共役変数によって生じる。 提案手法は,既存の最先端手法が優れた結果を得るのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2023-05-29T16:20:23Z)
• Cluster-guided Contrastive Graph Clustering Network [53.16233290797777]
  クラスタ誘導コントラストグラフクラスタリングネットワーク(CCGC)を提案する。 我々は、兄弟のサブネットワーク間で重みが共有されない特別なシームズエンコーダを設計することにより、グラフの2つのビューを構築する。 意味的な負のサンプルペアを構築するために、異なる高信頼度クラスタの中心を負のサンプルとみなす。
  論文  参考訳（メタデータ） (2023-01-03T13:42:38Z)
• Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
  クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。 本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。 提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
  論文  参考訳（メタデータ） (2023-01-03T05:38:43Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• Augmentation-induced Consistency Regularization for Classification [25.388324221293203]
  我々はCR-Augと呼ばれるデータ拡張に基づく一貫性の規則化フレームワークを提案する。 CR-Augは、データ拡張によって生成された異なるサブモデルの出力分布を互いに整合するように強制する。 画像と音声の分類タスクにCR-Augを実装し、その有効性を検証するために広範な実験を行う。
  論文  参考訳（メタデータ） (2022-05-25T03:15:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。