論文の概要: Fair Concurrent Training of Multiple Models in Federated Learning
- arxiv url: http://arxiv.org/abs/2404.13841v1
- Date: Mon, 22 Apr 2024 02:41:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 15:26:21.416958
- Title: Fair Concurrent Training of Multiple Models in Federated Learning
- Title（参考訳）: フェデレーション学習における複数モデルの公正並行学習
- Authors: Marie Siew, Haoran Zhang, Jong-Ik Park, Yuezhou Liu, Yichen Ruan, Lili Su, Stratis Ioannidis, Edmund Yeh, Carlee Joe-Wong,
- Abstract要約: フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする。
近年のFLアプリケーションは、複数のFLタスクを同時にトレーニングする必要がある。
現在のMMFLアルゴリズムは、単純平均ベースのクライアントタスク割り当てスキームを使用している。
本稿では,各トレーニングラウンドにおけるタスクに動的にクライアントを割り当てる難易度認識アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 32.74516106486226
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) enables collaborative learning across multiple clients. In most FL work, all clients train a single learning task. However, the recent proliferation of FL applications may increasingly require multiple FL tasks to be trained simultaneously, sharing clients' computing and communication resources, which we call Multiple-Model Federated Learning (MMFL). Current MMFL algorithms use naive average-based client-task allocation schemes that can lead to unfair performance when FL tasks have heterogeneous difficulty levels, e.g., tasks with larger models may need more rounds and data to train. Just as naively allocating resources to generic computing jobs with heterogeneous resource needs can lead to unfair outcomes, naive allocation of clients to FL tasks can lead to unfairness, with some tasks having excessively long training times, or lower converged accuracies. Furthermore, in the FL setting, since clients are typically not paid for their training effort, we face a further challenge that some clients may not even be willing to train some tasks, e.g., due to high computational costs, which may exacerbate unfairness in training outcomes across tasks. We address both challenges by firstly designing FedFairMMFL, a difficulty-aware algorithm that dynamically allocates clients to tasks in each training round. We provide guarantees on airness and FedFairMMFL's convergence rate. We then propose a novel auction design that incentivizes clients to train multiple tasks, so as to fairly distribute clients' training efforts across the tasks. We show how our fairness-based learning and incentive mechanisms impact training convergence and finally evaluate our algorithm with multiple sets of learning tasks on real world datasets.
- Abstract（参考訳）: フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする。
ほとんどのFL作業では、すべてのクライアントが単一の学習タスクをトレーニングします。
しかし、最近のFLアプリケーションの急増は、クライアントのコンピューティングとコミュニケーションリソースを共有するために複数のFLタスクを同時に訓練する必要性がますます高まっている。
現在のMMFLアルゴリズムでは、FLタスクが不均一な難易度を持つ場合、例えば、より大きなモデルを持つタスクが訓練により多くのラウンドとデータを必要とする場合、不公平なパフォーマンスをもたらすことができる平均ベースのクライアントタスク割り当てスキームを使用している。
不均一なリソースを必要とする汎用コンピューティングジョブにリソースを素直に割り当てることが不公平な結果をもたらすのと同じように、FLタスクへのクライアントの割り当てが不公平になる可能性がある。
さらに、FL設定では、通常、クライアントはトレーニングの労力に支払われないため、計算コストが高く、タスク間のトレーニング結果の不公平が悪化する可能性があるため、一部のクライアントが何らかのタスクをトレーニングする意思さえない、という課題に直面します。
まず、各トレーニングラウンドのタスクにクライアントを動的に割り当てる難易度認識アルゴリズムであるFedFairMMFLを設計する。
空調の保証とFedFairMMFLの収束率について述べる。
次に,クライアントに複数のタスクを学習させ,タスク間でクライアントのトレーニング作業を公平に分散させる,新しいオークションデザインを提案する。
フェアネスに基づく学習とインセンティブのメカニズムがトレーニングの収束にどのように影響するかを示し、最終的に実世界のデータセット上で学習タスクの複数セットを用いてアルゴリズムを評価する。
関連論文リスト
- Resource-Efficient Federated Multimodal Learning via Layer-wise and Progressive Training [15.462969044840868]
LW-FedMMLは,学習プロセスを複数の段階に分解する階層型多モーダル学習手法である。
提案手法の有効性を検証するため,様々なFLおよびマルチモーダル学習環境にまたがる広範囲な実験を行った。
具体的には、LW-FedMMLはメモリ使用量を最大2.7Times$、計算処理(FLOP)を2.4times$、通信総コストを2.3times$に削減する。
論文 参考訳（メタデータ） (2024-07-22T07:06:17Z) - Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。
我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。
実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
論文 参考訳（メタデータ） (2024-06-21T13:19:29Z) - Federated Learning Can Find Friends That Are Advantageous [14.993730469216546]
フェデレートラーニング(FL)では、クライアントデータの分散の性質と均一性は、機会と課題の両方を示します。
本稿では,FLトレーニングに参加するクライアントに対して適応的なアグリゲーション重みを割り当てるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-07T17:46:37Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - An Incentive Mechanism for Federated Learning Based on Multiple Resource
Exchange [5.385462087305977]
Federated Learning(FL)は、機械学習におけるプライバシー問題に対処する分散機械学習パラダイムである。
ユーザをモデルオーナ(MO)とデータオーナ(DO)の2つの役割に分類する。
提案した協調計算フレームワークは、FLタスクの完了までの全体の時間を最小化しつつ、95%以上の精度を達成可能であることを示す。
論文 参考訳（メタデータ） (2023-12-13T12:28:37Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - When Do Curricula Work in Federated Learning? [56.88941905240137]
カリキュラム学習は非IID性を大幅に軽減する。
クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。
本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
論文 参考訳（メタデータ） (2022-12-24T11:02:35Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳（メタデータ） (2022-10-31T22:59:03Z) - FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task
Learning [50.756991828015316]
マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。
本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
論文 参考訳（メタデータ） (2022-03-24T17:43:12Z) - A Contract Theory based Incentive Mechanism for Federated Learning [52.24418084256517]
フェデレートラーニング(FL)は、データプライバシ保護機械学習パラダイムとして機能し、分散クライアントによってトレーニングされた協調モデルを実現する。
FLタスクを達成するために、タスクパブリッシャはFLサーバに金銭的なインセンティブを支払う必要があり、FLサーバはFLクライアントにタスクをオフロードする。
タスクがクライアントによってプライベートにトレーニングされているという事実から、FLクライアントに対して適切なインセンティブを設計することは困難である。
論文 参考訳（メタデータ） (2021-08-12T07:30:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。