Fugu-MT 論文翻訳(概要): FedCRL: Personalized Federated Learning with Contrastive Shared Representations for Label Heterogeneity in Non-IID Data

論文の概要: FedCRL: Personalized Federated Learning with Contrastive Shared Representations for Label Heterogeneity in Non-IID Data

arxiv url: http://arxiv.org/abs/2404.17916v1
Date: Sat, 27 Apr 2024 14:05:18 GMT
ステータス: 処理完了
システム内更新日: 2024-04-30 18:41:58.337893
Title: FedCRL: Personalized Federated Learning with Contrastive Shared Representations for Label Heterogeneity in Non-IID Data
Title（参考訳）: FedCRL:非IIDデータにおけるラベル不均一性のための比較共有表現を用いた個人化フェデレーション学習
Authors: Chenghao Huang, Xiaolu Chen, Yanru Zhang, Hao Wang,
Abstract要約: 本稿では,フェデレートコントラスト学習(Federated Contrastive Learning, FedCRL)という,新たな個人化学習アルゴリズムを提案する。 FedCRLは、クライアントの知識獲得を容易にするために、共有表現に関する対照的な表現学習を導入する。シミュレーションにより,既存の手法よりも精度が向上し,ラベルの不均一性を緩和するFedCRLの有効性が示された。
参考スコア（独自算出の注目度）: 13.146806294562474
License: http://creativecommons.org/licenses/by/4.0/
Abstract: To deal with heterogeneity resulting from label distribution skew and data scarcity in distributed machine learning scenarios, this paper proposes a novel Personalized Federated Learning (PFL) algorithm, named Federated Contrastive Representation Learning (FedCRL). FedCRL introduces contrastive representation learning (CRL) on shared representations to facilitate knowledge acquisition of clients. Specifically, both local model parameters and averaged values of local representations are considered as shareable information to the server, both of which are then aggregated globally. CRL is applied between local representations and global representations to regularize personalized training by drawing similar representations closer and separating dissimilar ones, thereby enhancing local models with external knowledge and avoiding being harmed by label distribution skew. Additionally, FedCRL adopts local aggregation between each local model and the global model to tackle data scarcity. A loss-wise weighting mechanism is introduced to guide the local aggregation using each local model's contrastive loss to coordinate the global model involvement in each client, thus helping clients with scarce data. Our simulations demonstrate FedCRL's effectiveness in mitigating label heterogeneity by achieving accuracy improvements over existing methods on datasets with varying degrees of label heterogeneity.
Abstract（参考訳）: 本稿では,分散機械学習シナリオにおけるラベル分布スキューとデータ不足から生じる不均一性に対処するため,FedCRL(Federated Contrastive Representation Learning)という,PFL(Personalized Federated Learning)アルゴリズムを提案する。 FedCRLは、クライアントの知識獲得を容易にするために、共有表現に関するコントラスト表現学習(CRL)を導入している。具体的には、ローカルモデルパラメータとローカル表現の平均値の両方をサーバに共有可能な情報とみなし、どちらもグローバルに集約される。 CRLは局所的な表現とグローバルな表現の間で適用され、類似した表現を近づき、異なる表現を分離することでパーソナライズされたトレーニングを規則化する。さらに、FedCRLは各ローカルモデルとグローバルモデルの間の局所的なアグリゲーションを採用して、データの不足に対処する。ロスワイド重み付け機構を導入し、各局所モデルの対照的な損失を用いて局所的な集約を誘導し、各クライアントにおけるグローバルモデル関与を調整し、少ないデータでクライアントを支援する。本シミュレーションは,ラベルの不均一性の度合いの異なるデータセット上で,既存の手法よりも精度良くラベルの不均一性を緩和するFedCRLの有効性を示す。

関連論文リスト

An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
GLOCALFAIR: Jointly Improving Global and Local Group Fairness in Federated Learning [8.033939709734451]
フェデレートラーニング(FL)は、データプライバシを犠牲にすることなく、クライアント間で共有モデルを共同で学習するための、将来的なソリューションとして登場した。 FLは、データの不均一性やパーティーの選択など、固有のFL特性のために、特定の人口集団に対してバイアスを受ける傾向にある。クライアントのプライベートデータセットに関する詳細な統計を必要とせずに,グローバルおよびローカルグループフェアネスを改善するクライアントサーバのコードサインであるGFAIRを提案する。
論文参考訳（メタデータ） (2024-01-07T18:10:14Z)
FedLPA: One-shot Federated Learning with Layer-Wise Posterior Aggregation [7.052566906745796]
FedLPAは、フェデレートラーニングのための階層的な後続アグリゲーション手法である。以上の結果から,FedLPAは最先端の手法よりも学習性能を著しく向上させることがわかった。
論文参考訳（メタデータ） (2023-09-30T10:51:27Z)
FedCiR: Client-Invariant Representation Learning for Federated Non-IID Features [15.555538379806135]
Federated Learning(FL)は、エッジデバイスのデータ駆動モデルの可能性を、生データを共有せずに最大化する分散学習パラダイムである。我々は、クライアントが情報やクライアントの不変性を抽出できるクライアント不変表現学習フレームワークであるFedCiRを提案する。
論文参考訳（メタデータ） (2023-08-30T06:36:32Z)
Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文参考訳（メタデータ） (2023-08-20T04:41:01Z)
FedCME: Client Matching and Classifier Exchanging to Handle Data Heterogeneity in Federated Learning [5.21877373352943]
クライアント間のデータの均一性は、フェデレートラーニング(FL)における重要な課題の1つです。クライアントマッチングと分類器交換によりFedCMEという新しいFLフレームワークを提案する。実験結果から,FedCMEはFedAvg,FedProx,MOON,FedRSよりも高い性能を示した。
論文参考訳（メタデータ） (2023-07-17T15:40:45Z)
Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。私たちの観察は直感的である。私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文参考訳（メタデータ） (2022-09-30T17:15:19Z)
FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文参考訳（メタデータ） (2022-03-22T14:06:26Z)
Robust Convergence in Federated Learning through Label-wise Clustering [6.693651193181458]
非IIDデータセットとローカルクライアントの不均一環境は、フェデレートラーニング(FL)における主要な課題であると見なされる地理的に異質なローカルクライアント間のトレーサビリティを保証する新しいラベルワイドクラスタリングアルゴリズムを提案する。提案手法は,他のFLアルゴリズムと比較して,高速でロバストな収束を示す。
論文参考訳（メタデータ） (2021-12-28T18:13:09Z)
Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文参考訳（メタデータ） (2021-04-27T18:23:54Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。