論文の概要: Fairness-Aware Job Scheduling for Multi-Job Federated Learning
- arxiv url: http://arxiv.org/abs/2401.02740v2
- Date: Mon, 8 Jan 2024 08:38:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 11:30:25.536748
- Title: Fairness-Aware Job Scheduling for Multi-Job Federated Learning
- Title(参考訳): マルチジョブフェデレーション学習のためのフェアネスを考慮したジョブスケジューリング
- Authors: Yuxin Shi, Han Yu
- Abstract要約: フェデレートラーニング(FL)は、複数のデータ所有者(FLクライアント)が、機密性の高いプライベートデータを開示することなく、協調的に機械学習モデルをトレーニングすることを可能にする。
既存のFL研究は主に、1つのFLサーバがFLクライアントのサブセットを選択して各トレーニングラウンドでローカルモデルを更新する独占シナリオに焦点を当てている。
本稿では,このギャップを埋めるためにFairFedJS(Federated Job Scheduling)アプローチを提案する。
- 参考スコア(独自算出の注目度): 21.029607218647207
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) enables multiple data owners (a.k.a. FL clients) to
collaboratively train machine learning models without disclosing sensitive
private data. Existing FL research mostly focuses on the monopoly scenario in
which a single FL server selects a subset of FL clients to update their local
models in each round of training. In practice, there can be multiple FL servers
simultaneously trying to select clients from the same pool. In this paper, we
propose a first-of-its-kind Fairness-aware Federated Job Scheduling (FairFedJS)
approach to bridge this gap. Based on Lyapunov optimization, it ensures fair
allocation of high-demand FL client datasets to FL jobs in need of them, by
jointly considering the current demand and the job payment bids, in order to
prevent prolonged waiting. Extensive experiments comparing FairFedJS against
four state-of-the-art approaches on two datasets demonstrate its significant
advantages. It outperforms the best baseline by 31.9% and 1.0% on average in
terms of scheduling fairness and convergence time, respectively, while
achieving comparable test accuracy.
- Abstract(参考訳): フェデレートラーニング(FL)は、複数のデータ所有者(FLクライアント)が機密性の高いプライベートデータを開示することなく、協調的に機械学習モデルをトレーニングすることを可能にする。
既存のFL研究は主に、1つのFLサーバがFLクライアントのサブセットを選択して各トレーニングラウンドでローカルモデルを更新する独占シナリオに焦点を当てている。
実際には、複数のFLサーバが同時に同じプールからクライアントを選ぼうとしています。
本稿では,このギャップを埋めるためのFairFedJS(Federated Job Scheduling)アプローチを提案する。
lyapunov最適化に基づき、待ち時間が長くなるのを防ぐために、現在の需要と求職入札を共同で考慮し、要求の高いflクライアントデータセットをflジョブに公平に割り当てることを保証する。
FairFedJSと2つのデータセットに対する4つの最先端アプローチを比較した大規模な実験は、その大きな利点を示している。
これは、スケジューリングの公平さと収束時間に関して、平均で31.9%と1.0%という最高のベースラインを上回り、比較試験の正確さを実現している。
関連論文リスト
- A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳(メタデータ) (2024-01-09T10:22:23Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳(メタデータ) (2023-08-23T22:38:35Z) - Fairness-Aware Client Selection for Federated Learning [13.781019191483864]
フェデレートラーニング(FL)により、複数のデータ所有者(FLクライアント)が、プライベートデータを公開せずに、機械学習モデルを協調的にトレーニングできるようになった。
FLサーバは各トレーニングラウンドで限られた数のクライアントしか扱えないため、FLクライアントの選択は重要な研究課題となっている。
Lyapunovの最適化に基づき、FLクライアントの評判、FLタスクへの参加時期、モデル性能への貢献を共同で考慮し、FLクライアントの選択確率を動的に調整する。
論文 参考訳(メタデータ) (2023-07-20T10:04:55Z) - FedJETs: Efficient Just-In-Time Personalization with Federated Mixture
of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。
我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。
我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文 参考訳(メタデータ) (2023-06-14T15:47:52Z) - Federated Learning of Shareable Bases for Personalization-Friendly Image
Classification [54.72892987840267]
FedBasisは、いくつかの共有可能なベースモデルの集合を学習し、リニアに組み合わせて、クライアント用のパーソナライズされたモデルを形成することができる。
具体的には、新しいクライアントの場合、モデルの重みではなく、小さな組み合わせ係数のみを学ぶ必要がある。
また、FedBasisの有効性と適用性を示すために、画像分類のためのより実用的なPFLテストベッドを提案する。
論文 参考訳(メタデータ) (2023-04-16T20:19:18Z) - Client Selection for Generalization in Accelerated Federated Learning: A
Multi-Armed Bandit Approach [20.300740276237523]
フェデレート・ラーニング(Federated Learning, FL)は、ローカルデータセットを保持する複数のノード(すなわちクライアント)にわたるモデルをトレーニングするために使用される機械学習(ML)パラダイムである。
FL(Bandit Scheduling for FL)と呼ばれる,この目標を達成するための新しいアルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-03-18T09:45:58Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳(メタデータ) (2022-10-31T22:59:03Z) - FL Games: A federated learning framework for distribution shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するためのゲーム理論のフレームワークであるFL Gamesを提案する。
論文 参考訳(メタデータ) (2022-05-23T07:51:45Z) - FedPrune: Towards Inclusive Federated Learning [1.308951527147782]
フェデレートラーニング(Federated Learning, FL)は、分散データの共有モデルをプライバシ保護形式でトレーニングする分散学習技術である。
我々は,この課題に対処するシステムであるFedPruneを提案する。
Central Limit Theoremからの洞察を利用することで、FedPruneは非IIDデータよりも堅牢なパフォーマンスを実現する新しい集約テクニックを取り入れている。
論文 参考訳(メタデータ) (2021-10-27T06:33:38Z) - Unifying Distillation with Personalization in Federated Learning [1.8262547855491458]
Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。
この設定では、すべてのクライアントが単一の共通予測器(FedAvg)を学習する。
本稿では,2段階のパーソナライズされた学習アルゴリズムPersFLを用いてこの問題に対処する。
第1段階では、PersFLはFLトレーニングフェーズにおいて各クライアントの最適な教師モデルを見つけ、第2段階では、PersFLは有用な知識を抽出する。
論文 参考訳(メタデータ) (2021-05-31T17:54:29Z) - Personalized Federated Learning with Moreau Envelopes [16.25105865597947]
フェデレートラーニング(Federated Learning, FL)は、分散されたプライバシ保護機械学習技術である。
FLに関連する課題の1つは、クライアント間の統計的多様性である。
封筒正規化損失関数を用いたパーソナライズFL(FedFedMe)のアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-16T00:55:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。