論文の概要: FedGH: Heterogeneous Federated Learning with Generalized Global Header

• arxiv url: http://arxiv.org/abs/2303.13137v1
• Date: Thu, 23 Mar 2023 09:38:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 14:55:26.120221
• Title: FedGH: Heterogeneous Federated Learning with Generalized Global Header
• Title（参考訳）: FedGH: 一般化グローバルヘッダによる不均一なフェデレーションラーニング
• Authors: Liping Yi, Gang Wang, Xiaoguang Liu, Zhuan Shi, Han Yu
• Abstract要約: フェデレートラーニング(FL)は、複数のパーティが共同で共有モデルをトレーニングできる、新興の機械学習パラダイムである。 我々はフェデレート・グローバル予測ヘッダー(FedGH)アプローチを提案する。 共有一般化グローバル予測ヘッダーを訓練する通信および計算効率のモデル不均一FLである。
• 参考スコア（独自算出の注目度）: 16.26231633749833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is an emerging machine learning paradigm that allows multiple parties to train a shared model collaboratively in a privacy-preserving manner. Existing horizontal FL methods generally assume that the FL server and clients hold the same model structure. However, due to system heterogeneity and the need for personalization, enabling clients to hold models with diverse structures has become an important direction. Existing model-heterogeneous FL approaches often require publicly available datasets and incur high communication and/or computational costs, which limit their performances. To address these limitations, we propose the Federated Global prediction Header (FedGH) approach. It is a communication and computation-efficient model-heterogeneous FL framework which trains a shared generalized global prediction header with representations extracted by heterogeneous extractors for clients' models at the FL server. The trained generalized global prediction header learns from different clients. The acquired global knowledge is then transferred to clients to substitute each client's local prediction header. We derive the non-convex convergence rate of FedGH. Extensive experiments on two real-world datasets demonstrate that FedGH achieves significantly more advantageous performance in both model-homogeneous and -heterogeneous FL scenarios compared to seven state-of-the-art personalized FL models, beating the best-performing baseline by up to 8.87% (for model-homogeneous FL) and 1.83% (for model-heterogeneous FL) in terms of average test accuracy, while saving up to 85.53% of communication overhead.
• Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、複数のパーティがプライバシ保護方法で共有モデルを協調的にトレーニングできる、新興の機械学習パラダイムである。 既存の水平FL法は一般にFLサーバとクライアントが同じモデル構造を持っていると仮定する。 しかし、システムの不均一性とパーソナライズの必要性により、クライアントが多様な構造を持つモデルを保持することが重要な方向となっている。 既存のモデルヘテロジェンシックflアプローチでは、一般に利用可能なデータセットが必要となり、高い通信および/または計算コストが発生し、パフォーマンスが制限される。 これらの制約に対処するため,フェデレート・グローバル予測ヘッダ(FedGH)アプローチを提案する。 FLサーバにおけるクライアントモデルのための異種抽出器によって抽出された表現を用いて、共有一般化グローバル予測ヘッダーを訓練する通信および計算効率のモデル不均一FLフレームワークである。 訓練されたグローバル予測ヘッダは、異なるクライアントから学習する。 取得したグローバル知識はクライアントに転送され、各クライアントのローカル予測ヘッダに置き換えられる。 我々はFedGHの非凸収束率を導出する。 2つの実世界のデータセットに対する大規模な実験により、FedGHは7つの最先端のパーソナライズされたFLモデルと比較して、平均テスト精度では8.87%(モデル均質FLの場合)と1.83%(モデル均質FLの場合)で最高のパフォーマンスのベースラインを上回り、通信オーバーヘッドの85.53%を節約した。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning [34.01721941230425]
  教師付き学習タスクのための適応的特徴混合(pFedAFM)を用いたモデルヘテロジニアスなフェデレート学習手法を提案する。 7つの最先端のMHPFL法を著しく上回り、精度は7.93%まで向上した。
  論文  参考訳（メタデータ） (2024-04-27T09:52:59Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• FedSSA: Semantic Similarity-based Aggregation for Efficient Model-Heterogeneous Personalized Federated Learning [40.827571502726805]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護と協調的な機械学習パラダイムである。 MHPFL(Model-Heterogeneous Personalized FL)がこの課題に対処するために登場した。 既存のMHPFLアプローチは、学習タスクと同じ性質の公開データセットに依存している場合や、高い計算と通信コストがかかる場合が多い。 教師付き分類タスクに対するFedSSA(Federated Semantic similarity Aggregation)アプローチを提案する。 FedSSAの精度は3.62%、通信効率は15.54倍、計算効率は7つの最先端のMHPFLベースラインに比べて15.52倍である。
  論文  参考訳（メタデータ） (2023-12-14T14:55:32Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Closing the Gap between Client and Global Model Performance in Heterogeneous Federated Learning [2.1044900734651626]
  カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。 KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-07T11:12:57Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• FedMR: Fedreated Learning via Model Recombination [7.404225808071622]
  Federated Learning (FL)は、クライアント間でのグローバルモデルトレーニングを可能にする。 既存のFLメソッドは、Federated Averaging(FedAvg)ベースのアグリゲーションに依存しています。 本稿ではFedMR(Federating Model Recombination)という新しいFLパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-08-16T11:30:19Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。