論文の概要: Modeling Global Distribution for Federated Learning with Label Distribution Skew

• arxiv url: http://arxiv.org/abs/2212.08883v1
• Date: Sat, 17 Dec 2022 14:46:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 15:27:56.697025
• Title: Modeling Global Distribution for Federated Learning with Label Distribution Skew
• Title（参考訳）: ラベル分布スキューを用いた連合学習のためのグローバル分布のモデル化
• Authors: Tao Sheng, Chengchao Shen, Yuan Liu, Yeyu Ou, Zhe Qu, Jianxin Wang
• Abstract要約: フェデレートラーニングは、分散化されたデータソースを接続することで、ディープモデルの共同トレーニングを実現する。 より一般的な場合、クライアント間のラベルの分布は、ラベル分布スキューと呼ばれる異なる。 本稿では,ラベル分散スキュー問題による性能劣化を軽減するために,FedMGDという新しいフェデレーション学習手法を提案する。
• 参考スコア（独自算出の注目度）: 15.417187554408104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning achieves joint training of deep models by connecting decentralized data sources, which can significantly mitigate the risk of privacy leakage. However, in a more general case, the distributions of labels among clients are different, called ``label distribution skew''. Directly applying conventional federated learning without consideration of label distribution skew issue significantly hurts the performance of the global model. To this end, we propose a novel federated learning method, named FedMGD, to alleviate the performance degradation caused by the label distribution skew issue. It introduces a global Generative Adversarial Network to model the global data distribution without access to local datasets, so the global model can be trained using the global information of data distribution without privacy leakage. The experimental results demonstrate that our proposed method significantly outperforms the state-of-the-art on several public benchmarks. Code is available at \url{https://github.com/Sheng-T/FedMGD}.
• Abstract（参考訳）: 連合学習は、分散データソースを接続することで、深いモデルの合同トレーニングを実現し、プライバシリークのリスクを著しく軽減する。 しかし、より一般的な場合、クライアント間のラベルの分布は、 ``label distribution skew'' と呼ばれる異なる。 ラベル分布スキュー問題を考慮せずに従来の連合学習を直接適用することは、グローバルモデルの性能を著しく損なう。 そこで本研究では,ラベル分散スキュー問題による性能劣化を軽減するために,FedMGDという新しいフェデレーション学習手法を提案する。 ローカルデータセットにアクセスせずにグローバルデータ分布をモデル化するグローバル生成逆ネットワークを導入し、プライバシリークなしにデータ分散のグローバル情報を使用してグローバルモデルをトレーニングすることができる。 実験の結果,提案手法はいくつかの公開ベンチマークにおいて,最先端の手法よりも優れていた。 コードは \url{https://github.com/Sheng-T/FedMGD} で入手できる。

関連論文リスト

• Disentangling data distribution for Federated Learning [20.524108508314107]
  フェデレートラーニング(FL)は、分散クライアントが所有するプライベートデータによってパフォーマンスが向上するグローバルモデルの協調トレーニングを促進する。 しかし、FLの幅広い適用性は、異なるクライアント間のデータ分散の絡み合いによって妨げられている。 本稿では,FLがデータ分散を解き放つことによって,分散システムに匹敵する効率を原理的に達成できることを初めて示す。
  論文  参考訳（メタデータ） (2024-10-16T13:10:04Z)
• Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
  現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。 本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。 我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
  論文  参考訳（メタデータ） (2024-10-08T15:06:10Z)
• Recovering Global Data Distribution Locally in Federated Learning [7.885010255812708]
  Federated Learning(FL)は、複数のクライアント間のコラボレーションを可能にする分散機械学習パラダイムである。 FLにおける大きな課題はラベルの不均衡であり、クライアントは少数派と欠落したクラスを多数持っている間、特定のクラスを独占する可能性がある。 本稿では,この課題に対処するための新しいアプローチであるReGLを提案し,その鍵となる考え方は,グローバルなデータ分布を局所的に検索することである。
  論文  参考訳（メタデータ） (2024-09-21T08:35:04Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Towards Unbiased Training in Federated Open-world Semi-supervised Learning [15.08153616709326]
  本稿では,分散およびオープンな環境における重要な課題を解決するための,新しいフェデレートオープンワールドセミスーパーバイドラーニング(FedoSSL)フレームワークを提案する。 我々は,不確実性に留意された損失を抑えることで,局所的に見えないクラスとグローバルな見えないクラスの間のバイアスのあるトレーニングを緩和する。 提案したFedoSSLは、ベンチマークや実世界のデータセットに関する広範な実験を通じて検証される、最先端のFLメソッドに容易に適用することができる。
  論文  参考訳（メタデータ） (2023-05-01T11:12:37Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Preservation of the Global Knowledge by Not-True Self Knowledge Distillation in Federated Learning [8.474470736998136]
  フェデレートラーニング(FL)では、強力なグローバルモデルが、クライアントのローカルにトレーニングされたモデルを集約することによって、協調的に学習される。 偏りのある地域分布への適応は、その特徴をグローバルな分布にシフトさせ、グローバルな知識を忘れる結果をもたらすことを観察する。 本稿では, ローカルデータに対するグローバルな知識を活用した, 簡便かつ効果的なフェデレートローカル自己蒸留(FedLSD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-06T11:51:47Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。