論文の概要: Recovering Global Data Distribution Locally in Federated Learning

• arxiv url: http://arxiv.org/abs/2409.14063v1
• Date: Sat, 21 Sep 2024 08:35:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 03:55:36.760139
• Title: Recovering Global Data Distribution Locally in Federated Learning
• Title（参考訳）: フェデレートラーニングにおける局所的なグローバルデータ分布の復元
• Authors: Ziyu Yao,
• Abstract要約: Federated Learning(FL)は、複数のクライアント間のコラボレーションを可能にする分散機械学習パラダイムである。 FLにおける大きな課題はラベルの不均衡であり、クライアントは少数派と欠落したクラスを多数持っている間、特定のクラスを独占する可能性がある。 本稿では,この課題に対処するための新しいアプローチであるReGLを提案し,その鍵となる考え方は,グローバルなデータ分布を局所的に検索することである。
• 参考スコア（独自算出の注目度）: 7.885010255812708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is a distributed machine learning paradigm that enables collaboration among multiple clients to train a shared model without sharing raw data. However, a major challenge in FL is the label imbalance, where clients may exclusively possess certain classes while having numerous minority and missing classes. Previous works focus on optimizing local updates or global aggregation but ignore the underlying imbalanced label distribution across clients. In this paper, we propose a novel approach ReGL to address this challenge, whose key idea is to Recover the Global data distribution Locally. Specifically, each client uses generative models to synthesize images that complement the minority and missing classes, thereby alleviating label imbalance. Moreover, we adaptively fine-tune the image generation process using local real data, which makes the synthetic images align more closely with the global distribution. Importantly, both the generation and fine-tuning processes are conducted at the client-side without leaking data privacy. Through comprehensive experiments on various image classification datasets, we demonstrate the remarkable superiority of our approach over existing state-of-the-art works in fundamentally tackling label imbalance in FL.
• Abstract（参考訳）: Federated Learning(FL)は、複数のクライアント間のコラボレーションで、生データを共有せずに共有モデルをトレーニングできる分散機械学習パラダイムである。 しかし、FLにおける大きな課題はラベルの不均衡であり、クライアントは少数派と欠落したクラスを多く持っている一方で、特定のクラスを独占する可能性がある。 これまでの作業では、ローカル更新やグローバルアグリゲーションの最適化に重点を置いていたが、クライアント間のアンバランスなラベルの分布は無視されている。 本稿では,この課題に対処する新たなアプローチであるReGLを提案し,その鍵となる考え方はグローバルなデータ分布を局所的に検索することである。 具体的には、各クライアントは生成モデルを使用して、少数派と欠落したクラスを補完するイメージを合成し、ラベルの不均衡を軽減する。 さらに、局所的な実データを用いて画像生成過程を適応的に微調整することで、合成画像がグローバルな分布とより密に一致できるようにする。 重要なのは、データプライバシをリークすることなく、クライアント側で生成プロセスと微調整プロセスの両方を実行することだ。 様々な画像分類データセットに関する総合的な実験を通じて、FLにおけるラベルの不均衡を根本的に解決する上で、既存の最先端技術よりも、我々のアプローチが顕著に優れていることを示す。

関連論文リスト

• Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
  Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。 パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。 我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
  論文  参考訳（メタデータ） (2024-11-01T03:03:52Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Exploring Vacant Classes in Label-Skewed Federated Learning [113.65301899666645]
  クライアント間の局所的なラベル分布の相違を特徴とするラベルスキューは、連合学習において大きな課題となる。 本稿では, ラベルスキュード・フェデレート学習における新しい手法であるFedVLSについて紹介する。
  論文  参考訳（メタデータ） (2024-01-04T16:06:31Z)
• Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
  フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。 本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。 提案手法は最先端手法に比べて平均精度が13%高い。
  論文  参考訳（メタデータ） (2023-11-14T14:37:33Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Towards Unbiased Training in Federated Open-world Semi-supervised Learning [15.08153616709326]
  本稿では,分散およびオープンな環境における重要な課題を解決するための,新しいフェデレートオープンワールドセミスーパーバイドラーニング(FedoSSL)フレームワークを提案する。 我々は,不確実性に留意された損失を抑えることで,局所的に見えないクラスとグローバルな見えないクラスの間のバイアスのあるトレーニングを緩和する。 提案したFedoSSLは、ベンチマークや実世界のデータセットに関する広範な実験を通じて検証される、最先端のFLメソッドに容易に適用することができる。
  論文  参考訳（メタデータ） (2023-05-01T11:12:37Z)
• No One Left Behind: Real-World Federated Class-Incremental Learning [111.77681016996202]
  ローカル・グローバル・アンチ・フォーゲッティング(LGA)モデルは、局所的およびグローバルな破滅的な忘れに対処する。 本研究は,カテゴリ均衡型勾配適応型補償損失とカテゴリ勾配誘導型セマンティック蒸留損失を開発する。 ローカルクライアントから収集した新しいカテゴリの摂動型プロトタイプイメージを、自己監督型プロトタイプ拡張を通じて拡張する。
  論文  参考訳（メタデータ） (2023-02-02T06:41:02Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Modeling Global Distribution for Federated Learning with Label Distribution Skew [15.417187554408104]
  フェデレートラーニングは、分散化されたデータソースを接続することで、ディープモデルの共同トレーニングを実現する。 より一般的な場合、クライアント間のラベルの分布は、ラベル分布スキューと呼ばれる異なる。 本稿では,ラベル分散スキュー問題による性能劣化を軽減するために,FedMGDという新しいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2022-12-17T14:46:01Z)
• DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
  非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。 自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。 本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
  論文  参考訳（メタデータ） (2022-11-20T06:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。