論文の概要: FedCRL: Personalized Federated Learning with Contrastive Shared Representations for Label Heterogeneity in Non-IID Data

• arxiv url: http://arxiv.org/abs/2404.17916v2
• Date: Fri, 22 Nov 2024 12:51:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:01:51.560750
• Title: FedCRL: Personalized Federated Learning with Contrastive Shared Representations for Label Heterogeneity in Non-IID Data
• Title（参考訳）: FedCRL:非IIDデータにおけるラベル不均一性のための比較共有表現を用いた個人化フェデレーション学習
• Authors: Chenghao Huang, Xiaolu Chen, Yanru Zhang, Hao Wang,
• Abstract要約: 本稿では,FedCoSR(Federated Contrastive Shareable Representations)という,個人化学習アルゴリズムを提案する。 ローカルモデルの浅い層と典型的なローカル表現のパラメータはどちらもサーバの共有可能な情報である。 クライアント間でのラベル分布スキューによる性能の低下に対処するため、局所表現とグローバル表現の対比学習を採用する。
• 参考スコア（独自算出の注目度）: 13.146806294562474
• License:
• Abstract: Heterogeneity resulting from label distribution skew and data scarcity can lead to inaccuracy and unfairness in intelligent communication applications that mainly rely on distributed computing. To deal with it, this paper proposes a novel personalized federated learning algorithm, named Federated Contrastive Shareable Representations (FedCoSR), to facilitate knowledge sharing among clients while maintaining data privacy. Specifically, parameters of local models' shallow layers and typical local representations are both considered shareable information for the server and aggregated globally. To address poor performance caused by label distribution skew among clients, contrastive learning is adopted between local and global representations to enrich local knowledge. Additionally, to ensure fairness for clients with scarce data, FedCoSR introduces adaptive local aggregation to coordinate the global model involvement in each client. Our simulations demonstrate FedCoSR's effectiveness in mitigating label heterogeneity by achieving accuracy and fairness improvements over existing methods on datasets with varying degrees of label heterogeneity.
• Abstract（参考訳）: ラベルの分散スキューとデータの不足から生じる不均一性は、主に分散コンピューティングに依存するインテリジェント通信アプリケーションにおいて、不正確さと不公平性をもたらす可能性がある。 本稿では,データプライバシを維持しつつ,クライアント間の知識共有を容易にするために,フェデレートコントラスト共有表現(Federated Contrastive Shareable Representations, FedCoSR)という,新たな個人化学習アルゴリズムを提案する。 具体的には、ローカルモデルの浅い層と典型的なローカル表現のパラメータはどちらもサーバの共有可能な情報と見なされ、世界中に集約される。 クライアント間でのラベル分布スキューによる性能の低下に対処するため,局所的知識を充実させるために,局所的表現とグローバル的表現の対比学習を採用する。 さらに、データ不足のクライアントに対して公平性を確保するため、FedCoSRでは、各クライアントにおけるグローバルモデル関与を調整するために、アダプティブなローカルアグリゲーションを導入している。 本シミュレーションは,ラベルの不均一性の度合いの異なるデータセット上で,既存の手法よりも精度と公平性を向上し,ラベルの不均一性を緩和するFedCoSRの有効性を示す。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• GLOCALFAIR: Jointly Improving Global and Local Group Fairness in Federated Learning [8.033939709734451]
  フェデレートラーニング(FL)は、データプライバシを犠牲にすることなく、クライアント間で共有モデルを共同で学習するための、将来的なソリューションとして登場した。 FLは、データの不均一性やパーティーの選択など、固有のFL特性のために、特定の人口集団に対してバイアスを受ける傾向にある。 クライアントのプライベートデータセットに関する詳細な統計を必要とせずに,グローバルおよびローカルグループフェアネスを改善するクライアントサーバのコードサインであるGFAIRを提案する。
  論文  参考訳（メタデータ） (2024-01-07T18:10:14Z)
• FedLPA: One-shot Federated Learning with Layer-Wise Posterior Aggregation [7.052566906745796]
  FedLPAは、フェデレートラーニングのための階層的な後続アグリゲーション手法である。 以上の結果から,FedLPAは最先端の手法よりも学習性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-09-30T10:51:27Z)
• FedCiR: Client-Invariant Representation Learning for Federated Non-IID Features [15.555538379806135]
  Federated Learning(FL)は、エッジデバイスのデータ駆動モデルの可能性を、生データを共有せずに最大化する分散学習パラダイムである。 我々は、クライアントが情報やクライアントの不変性を抽出できるクライアント不変表現学習フレームワークであるFedCiRを提案する。
  論文  参考訳（メタデータ） (2023-08-30T06:36:32Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• FedCME: Client Matching and Classifier Exchanging to Handle Data Heterogeneity in Federated Learning [5.21877373352943]
  クライアント間のデータの均一性は、フェデレートラーニング(FL)における重要な課題の1つです。 クライアントマッチングと分類器交換によりFedCMEという新しいFLフレームワークを提案する。 実験結果から,FedCMEはFedAvg,FedProx,MOON,FedRSよりも高い性能を示した。
  論文  参考訳（メタデータ） (2023-07-17T15:40:45Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。 局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。 私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。 実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-22T14:06:26Z)
• Robust Convergence in Federated Learning through Label-wise Clustering [6.693651193181458]
  非IIDデータセットとローカルクライアントの不均一環境は、フェデレートラーニング(FL)における主要な課題であると見なされる 地理的に異質なローカルクライアント間のトレーサビリティを保証する新しいラベルワイドクラスタリングアルゴリズムを提案する。 提案手法は,他のFLアルゴリズムと比較して,高速でロバストな収束を示す。
  論文  参考訳（メタデータ） (2021-12-28T18:13:09Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。