論文の概要: FedCCL: Federated Dual-Clustered Feature Contrast Under Domain Heterogeneity
- arxiv url: http://arxiv.org/abs/2404.09259v2
- Date: Wed, 11 Sep 2024 08:07:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 21:17:34.470518
- Title: FedCCL: Federated Dual-Clustered Feature Contrast Under Domain Heterogeneity
- Title（参考訳）: FedCCL:Federated Dual-Clustered Feature Contrast under Domain Heterogeneity
- Authors: Yu Qiao, Huy Q. Le, Mengchun Zhang, Apurba Adhikary, Chaoning Zhang, Choong Seon Hong,
- Abstract要約: フェデレートラーニング(FL)は、エッジクライアントと中央サーバとのコラボレーションを通じて、プライバシ保護のニューラルネットワークトレーニングパラダイムを促進する。
最近の研究は、単に正規化の形式として平均的な信号を使い、これらの非IID課題の1つの側面にのみ焦点をあてることに限られている。
マルチクラスタ機能を持つコントラストベースのFLフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 43.71967577443732
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated learning (FL) facilitates a privacy-preserving neural network training paradigm through collaboration between edge clients and a central server. One significant challenge is that the distributed data is not independently and identically distributed (non-IID), typically including both intra-domain and inter-domain heterogeneity. However, recent research is limited to simply using averaged signals as a form of regularization and only focusing on one aspect of these non-IID challenges. Given these limitations, this paper clarifies these two non-IID challenges and attempts to introduce cluster representation to address them from both local and global perspectives. Specifically, we propose a dual-clustered feature contrast-based FL framework with dual focuses. First, we employ clustering on the local representations of each client, aiming to capture intra-class information based on these local clusters at a high level of granularity. Then, we facilitate cross-client knowledge sharing by pulling the local representation closer to clusters shared by clients with similar semantics while pushing them away from clusters with dissimilar semantics. Second, since the sizes of local clusters belonging to the same class may differ for each client, we further utilize clustering on the global side and conduct averaging to create a consistent global signal for guiding each local training in a contrastive manner. Experimental results on multiple datasets demonstrate that our proposal achieves comparable or superior performance gain under intra-domain and inter-domain heterogeneity.
- Abstract（参考訳）: フェデレートラーニング(FL)は、エッジクライアントと中央サーバとのコラボレーションを通じて、プライバシ保護のニューラルネットワークトレーニングパラダイムを促進する。
重要な課題の1つは、分散データが独立で同一の分散(非IID)ではなく、通常、ドメイン内およびドメイン間不均一性の両方を含むことである。
しかし、最近の研究は、単に正規化の一形態として平均信号を使い、これらの非IID課題の1つの側面にのみ焦点をあてることに限られている。
これらの制約を踏まえ、本論文はこれらの2つの非IID課題を明らかにし、局所的およびグローバル的視点からそれらに対処するためのクラスタ表現の導入を試みる。
具体的には、デュアルフォーカスを持つ二重クラスタ型特徴コントラストベースのFLフレームワークを提案する。
まず、各クライアントのローカル表現にクラスタリングを導入し、これらのローカルクラスタに基づいたクラス内情報を高い粒度で取得する。
そして、類似のセマンティクスでクライアントが共有するクラスタに局所的な表現を近づけ、異なるセマンティクスでそれらをクラスタから切り離すことにより、クロスクライアントの知識共有を容易にする。
第2に、同一クラスに属するローカルクラスタのサイズがクライアントごとに異なる可能性があるため、グローバル側でのクラスタリングをさらに活用し、平均化を行い、各ローカルトレーニングを対照的にガイドするための一貫したグローバル信号を生成する。
複数のデータセットに対する実験結果から,ドメイン内およびドメイン間不均一性において,提案手法が同等あるいは優れた性能向上を達成することが示された。
関連論文リスト
- Federated Clustering: An Unsupervised Cluster-Wise Training for Decentralized Data Distributions [1.6385815610837167]
Federated Cluster-Wise Refinement(FedCRef)には、同様のデータ分散を備えたクラスタ上でモデルを協調的にトレーニングするクライアントが含まれている。
これらのグループでは、クライアントは、各データ分布を表す共有モデルを共同でトレーニングし、データの関連性を高めるために、ローカルクラスタを継続的に精錬する。
この反復的処理により,ネットワーク全体にわたる潜在的なデータ分布を同定し,それぞれにロバストな表現モデルを構築することができる。
論文 参考訳（メタデータ） (2024-08-20T09:05:44Z) - Federated Deep Multi-View Clustering with Global Self-Supervision [51.639891178519136]
フェデレートされたマルチビュークラスタリングは、複数のデバイスに分散したデータからグローバルクラスタリングモデルを学習する可能性がある。
この設定では、ラベル情報は未知であり、データのプライバシを保持する必要がある。
本稿では,複数のクライアントから補完的なクラスタ構造をマイニングできる,新しい多視点クラスタリング手法を提案する。
論文 参考訳（メタデータ） (2023-09-24T17:07:01Z) - Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。
本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
論文 参考訳（メタデータ） (2023-09-04T10:47:52Z) - Federated Two Stage Decoupling With Adaptive Personalization Layers [5.69361786082969]
フェデレーション学習は、プライバシ制約を維持しながら分散学習を可能にする能力によって、大きな注目を集めている。
本質的には、学習の劣化と収束速度の低下を経験する。
等質なクライアントを同じ群にクラスタリングするという概念を採用することは自然であり、各群内のモデル重みのみを集約することができる。
論文 参考訳（メタデータ） (2023-08-30T07:46:32Z) - Federated Generalized Category Discovery [68.35420359523329]
一般カテゴリー発見(GCD)は、未知のクラスからラベルのないサンプルをグループ化することを目的としている。
地域社会における近年の分権化の傾向に対応するため,フェデレーションGCD(Fed-GCD)という,実践的かつ困難な課題を導入する。
Fed-GCDの目標は、プライバシ保護された制約の下で、クライアントのコラボレーションによって汎用的なGCDモデルをトレーニングすることである。
論文 参考訳（メタデータ） (2023-05-23T14:27:41Z) - Efficient Distribution Similarity Identification in Clustered Federated
Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。
既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。
以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
論文 参考訳（メタデータ） (2022-09-21T17:37:54Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - Cluster-driven Graph Federated Learning over Multiple Domains [25.51716405561116]
グラフフェデレーション学習(FL)は、中央モデル(すなわち、学習)を扱う。
サーバ) プライバシに制約されたシナリオ。
本稿では,クラスタ型グラフフェデレーション学習(FedCG)を提案する。
論文 参考訳（メタデータ） (2021-04-29T19:31:19Z) - Federated Unsupervised Representation Learning [56.715917111878106]
フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。
FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
論文 参考訳（メタデータ） (2020-10-18T13:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。