論文の概要: Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training

• arxiv url: http://arxiv.org/abs/2201.12976v1
• Date: Mon, 31 Jan 2022 03:15:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 16:18:51.559602
• Title: Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training
• Title（参考訳）: grouped sequential-to-parallel trainingによるヘテロジニアスフェデレート学習
• Authors: Shenglai Zeng, Zonghang Li, Hongfang Yu, Yihong He, Zenglin Xu, Dusit Niyato, Han Yu
• Abstract要約: フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 60.892342868936865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a rapidly growing privacy-preserving collaborative machine learning paradigm. In practical FL applications, local data from each data silo reflect local usage patterns. Therefore, there exists heterogeneity of data distributions among data owners (a.k.a. FL clients). If not handled properly, this can lead to model performance degradation. This challenge has inspired the research field of heterogeneous federated learning, which currently remains open. In this paper, we propose a data heterogeneity-robust FL approach, FedGSP, to address this challenge by leveraging on a novel concept of dynamic Sequential-to-Parallel (STP) collaborative training. FedGSP assigns FL clients to homogeneous groups to minimize the overall distribution divergence among groups, and increases the degree of parallelism by reassigning more groups in each round. It is also incorporated with a novel Inter-Cluster Grouping (ICG) algorithm to assist in group assignment, which uses the centroid equivalence theorem to simplify the NP-hard grouping problem to make it solvable. Extensive experiments have been conducted on the non-i.i.d. FEMNIST dataset. The results show that FedGSP improves the accuracy by 3.7% on average compared with seven state-of-the-art approaches, and reduces the training time and communication overhead by more than 90%.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 実際のFLアプリケーションでは、各データサイロのローカルデータは、ローカル使用パターンを反映する。 したがって、データ所有者(すなわちflクライアント)間でのデータ分布の多様性が存在する。 適切に扱わなければ、モデルの性能劣化につながる可能性がある。 この挑戦は異種連合学習の研究分野に影響を与えたが、現在は未開である。 本稿では,stp(dynamic sequential-to-parallel)コラボレーティブトレーニングの新たな概念を活用し,この課題に対処するため,データヘテロゲニティ・ロバストfl手法であるfegspを提案する。 FedGSP は、FL クライアントを同種群に割り当て、グループ間の全体の分布のばらつきを最小化し、各ラウンドでより多くのグループを割り当てることで並列性の度合いを高める。 また、新しいクラスタ間グルーピング(icg)アルゴリズムも組み込まれ、群割り当てを補助し、中心同値定理を用いてnp-ハードグルーピング問題を単純化し、解くことができる。 非I.d. FEMNISTデータセットで大規模な実験が行われた。 その結果、FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現し、トレーニング時間と通信オーバーヘッドを90%以上削減した。

関連論文リスト

• FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning [8.576433180938004]
  本稿では,新しいDFL集約アルゴリズムFederated Entropy Pooling (FedEP)を提案する。 FedEPは、実際のデータではなく、局所分布の統計特性を取り入れることで、クライアントのドリフト問題を緩和する。 実験により、FedEPは最先端のアプローチよりも早く収束し、高いテスト性能を示すことが示されている。
  論文  参考訳（メタデータ） (2024-10-10T07:39:15Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for Non-IID Data in Federated Learning [4.02923738318937]
  異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。 この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。 我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
  論文  参考訳（メタデータ） (2022-08-04T04:24:16Z)
• Towards Federated Clustering: A Federated Fuzzy $c$-Means Algorithm (FFCM) [0.0]
  Federated Learning(FL)は、分散データを持つ複数のパーティが共同で機械学習(ML)モデルをトレーニングする環境である。 我々は、この研究領域が自分自身にどのように関心を持つか、また、非独立に特定された分散データ(すなわち、d.d.)のような問題にどのように対処するかを説明する。 本研究では,グローバルクラスタセンターを計算し,その挙動を数値実験により評価する2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-01-18T21:22:28Z)
• Robust Convergence in Federated Learning through Label-wise Clustering [6.693651193181458]
  非IIDデータセットとローカルクライアントの不均一環境は、フェデレートラーニング(FL)における主要な課題であると見なされる 地理的に異質なローカルクライアント間のトレーサビリティを保証する新しいラベルワイドクラスタリングアルゴリズムを提案する。 提案手法は,他のFLアルゴリズムと比較して,高速でロバストな収束を示す。
  論文  参考訳（メタデータ） (2021-12-28T18:13:09Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
  フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。 我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。 パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
  論文  参考訳（メタデータ） (2021-01-27T10:10:18Z)
• FedGroup: Efficient Clustered Federated Learning via Decomposed Data-Driven Measure [18.083188787905083]
  本稿では,新しいクラスタ型フェデレーション学習(CFL)フレームワークであるFedGroupを提案する。 FEMNISTではFedAvgに比べて絶対テスト精度が+14.1%向上することが示された。 また、いくつかのオープンデータセット上でFedGroupとFedGrouProx(FedProxと組み合わせた)を評価します。
  論文  参考訳（メタデータ） (2020-10-14T08:15:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。