論文の概要: Modeling Global Distribution for Federated Learning with Label
Distribution Skew
- arxiv url: http://arxiv.org/abs/2212.08883v1
- Date: Sat, 17 Dec 2022 14:46:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 15:27:56.697025
- Title: Modeling Global Distribution for Federated Learning with Label
Distribution Skew
- Title(参考訳): ラベル分布スキューを用いた連合学習のためのグローバル分布のモデル化
- Authors: Tao Sheng, Chengchao Shen, Yuan Liu, Yeyu Ou, Zhe Qu, Jianxin Wang
- Abstract要約: フェデレートラーニングは、分散化されたデータソースを接続することで、ディープモデルの共同トレーニングを実現する。
より一般的な場合、クライアント間のラベルの分布は、ラベル分布スキューと呼ばれる異なる。
本稿では,ラベル分散スキュー問題による性能劣化を軽減するために,FedMGDという新しいフェデレーション学習手法を提案する。
- 参考スコア(独自算出の注目度): 15.417187554408104
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning achieves joint training of deep models by connecting
decentralized data sources, which can significantly mitigate the risk of
privacy leakage. However, in a more general case, the distributions of labels
among clients are different, called ``label distribution skew''. Directly
applying conventional federated learning without consideration of label
distribution skew issue significantly hurts the performance of the global
model. To this end, we propose a novel federated learning method, named FedMGD,
to alleviate the performance degradation caused by the label distribution skew
issue. It introduces a global Generative Adversarial Network to model the
global data distribution without access to local datasets, so the global model
can be trained using the global information of data distribution without
privacy leakage. The experimental results demonstrate that our proposed method
significantly outperforms the state-of-the-art on several public benchmarks.
Code is available at \url{https://github.com/Sheng-T/FedMGD}.
- Abstract(参考訳): 連合学習は、分散データソースを接続することで、深いモデルの合同トレーニングを実現し、プライバシリークのリスクを著しく軽減する。
しかし、より一般的な場合、クライアント間のラベルの分布は、 ``label distribution skew'' と呼ばれる異なる。
ラベル分布スキュー問題を考慮せずに従来の連合学習を直接適用することは、グローバルモデルの性能を著しく損なう。
そこで本研究では,ラベル分散スキュー問題による性能劣化を軽減するために,FedMGDという新しいフェデレーション学習手法を提案する。
ローカルデータセットにアクセスせずにグローバルデータ分布をモデル化するグローバル生成逆ネットワークを導入し、プライバシリークなしにデータ分散のグローバル情報を使用してグローバルモデルをトレーニングすることができる。
実験の結果,提案手法はいくつかの公開ベンチマークにおいて,最先端の手法よりも優れていた。
コードは \url{https://github.com/Sheng-T/FedMGD} で入手できる。
関連論文リスト
- Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。
非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。
我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
論文 参考訳(メタデータ) (2023-12-11T10:44:52Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - Towards Unbiased Training in Federated Open-world Semi-supervised
Learning [15.08153616709326]
本稿では,分散およびオープンな環境における重要な課題を解決するための,新しいフェデレートオープンワールドセミスーパーバイドラーニング(FedoSSL)フレームワークを提案する。
我々は,不確実性に留意された損失を抑えることで,局所的に見えないクラスとグローバルな見えないクラスの間のバイアスのあるトレーニングを緩和する。
提案したFedoSSLは、ベンチマークや実世界のデータセットに関する広範な実験を通じて検証される、最先端のFLメソッドに容易に適用することができる。
論文 参考訳(メタデータ) (2023-05-01T11:12:37Z) - Fusion of Global and Local Knowledge for Personalized Federated Learning [75.20751492913892]
本稿では,低ランクおよびスパース分解を伴うパーソナライズされたモデルについて検討する。
我々はtextbfSparse と textbfRank を混合した2段階学習アルゴリズム textbfFederated Learning を提案する。
適切な仮定の下では、FedSLRによって訓練されたGKRが、少なくとも準線形に正規化問題の定常点に収束できることが示される。
論文 参考訳(メタデータ) (2023-02-21T23:09:45Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳(メタデータ) (2023-01-25T03:18:10Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - Preservation of the Global Knowledge by Not-True Self Knowledge
Distillation in Federated Learning [8.474470736998136]
フェデレートラーニング(FL)では、強力なグローバルモデルが、クライアントのローカルにトレーニングされたモデルを集約することによって、協調的に学習される。
偏りのある地域分布への適応は、その特徴をグローバルな分布にシフトさせ、グローバルな知識を忘れる結果をもたらすことを観察する。
本稿では, ローカルデータに対するグローバルな知識を活用した, 簡便かつ効果的なフェデレートローカル自己蒸留(FedLSD)フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-06T11:51:47Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳(メタデータ) (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。