論文の概要: Federated Learning with Classifier Shift for Class Imbalance
- arxiv url: http://arxiv.org/abs/2304.04972v1
- Date: Tue, 11 Apr 2023 04:38:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 16:07:33.055944
- Title: Federated Learning with Classifier Shift for Class Imbalance
- Title(参考訳): クラス不均衡のための分類器シフトを用いたフェデレーション学習
- Authors: Yunheng Shen, Haoxiang Wang, Hairong Lv
- Abstract要約: フェデレートラーニングは、トレーニングデータが異なるクライアントに属している間、グローバルモデルを協調的に学習することを目的としており、交換は許されない。
本稿では,クラス不均衡の負の影響を軽減するため,局所学習期間中の分類器出力の変化を緩和するFedShiftという,シンプルで効果的な手法を提案する。
- 参考スコア(独自算出の注目度): 6.097542448692326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning aims to learn a global model collaboratively while the
training data belongs to different clients and is not allowed to be exchanged.
However, the statistical heterogeneity challenge on non-IID data, such as class
imbalance in classification, will cause client drift and significantly reduce
the performance of the global model. This paper proposes a simple and effective
approach named FedShift which adds the shift on the classifier output during
the local training phase to alleviate the negative impact of class imbalance.
We theoretically prove that the classifier shift in FedShift can make the local
optimum consistent with the global optimum and ensure the convergence of the
algorithm. Moreover, our experiments indicate that FedShift significantly
outperforms the other state-of-the-art federated learning approaches on various
datasets regarding accuracy and communication efficiency.
- Abstract(参考訳): 連合学習は、トレーニングデータが異なるクライアントに属し、交換できない間、グローバルなモデルを協調的に学習することを目的としている。
しかしながら、分類のクラス不均衡のような非iidデータに対する統計的不均質性課題は、クライアントのドリフトを引き起こし、グローバルモデルの性能を著しく低下させる。
本稿では,クラス不均衡の負の影響を軽減するため,局所学習期間中の分類器出力の変化を緩和するFedShiftという,シンプルで効果的な手法を提案する。
理論的には、FedShiftの分類器シフトは局所最適化を大域最適化と一致させ、アルゴリズムの収束を保証することができる。
さらに,FedShiftは,他の最先端のフェデレーション学習手法よりも,精度と通信効率に関して,様々なデータセットにおいて優れていることを示す。
関連論文リスト
- FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - FedCME: Client Matching and Classifier Exchanging to Handle Data
Heterogeneity in Federated Learning [5.21877373352943]
クライアント間のデータの均一性は、フェデレートラーニング(FL)における重要な課題の1つです。
クライアントマッチングと分類器交換によりFedCMEという新しいFLフレームワークを提案する。
実験結果から,FedCMEはFedAvg,FedProx,MOON,FedRSよりも高い性能を示した。
論文 参考訳(メタデータ) (2023-07-17T15:40:45Z) - Towards Unbiased Training in Federated Open-world Semi-supervised
Learning [15.08153616709326]
本稿では,分散およびオープンな環境における重要な課題を解決するための,新しいフェデレートオープンワールドセミスーパーバイドラーニング(FedoSSL)フレームワークを提案する。
我々は,不確実性に留意された損失を抑えることで,局所的に見えないクラスとグローバルな見えないクラスの間のバイアスのあるトレーニングを緩和する。
提案したFedoSSLは、ベンチマークや実世界のデータセットに関する広範な実験を通じて検証される、最先端のFLメソッドに容易に適用することができる。
論文 参考訳(メタデータ) (2023-05-01T11:12:37Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳(メタデータ) (2023-01-25T03:18:10Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳(メタデータ) (2022-09-30T05:42:56Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳(メタデータ) (2022-03-22T14:06:26Z) - FedProc: Prototypical Contrastive Federated Learning on Non-IID data [24.1906520295278]
フェデレーション学習は、複数のクライアントが協力してディープラーニングモデルをトレーニングし、トレーニングデータをローカルに保持することを可能にする。
我々はFedProc: 原型的コントラスト型フェデレーション学習を提案する。
FedProcは計算コストを許容して精度を$1.6%sim7.9%向上することを示す。
論文 参考訳(メタデータ) (2021-09-25T04:32:23Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。