論文の概要: MDA: Availability-Aware Federated Learning Client Selection

• arxiv url: http://arxiv.org/abs/2211.14391v1
• Date: Fri, 25 Nov 2022 22:18:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 19:15:42.470231
• Title: MDA: Availability-Aware Federated Learning Client Selection
• Title（参考訳）: MDA: 可用性を考慮したフェデレーション学習クライアントの選択
• Authors: Amin Eslami Abyane, Steve Drew, Hadi Hemmati
• Abstract要約: 本研究は,多数のクライアントをトレーニングするクロスデバイスFLというFL設定に焦点を当てた。 バニラFLでは、クライアントはランダムに選択されるため、許容できる精度が得られるが、全体的なトレーニング時間の観点からは理想的ではない。 個々のクライアントのリソースと速度を考慮し、トレーニング時間を改善するために、新しいクライアント選択手法が提案されている。
• 参考スコア（独自算出の注目度）: 1.9422756778075616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, a new distributed learning scheme called Federated Learning (FL) has been introduced. FL is designed so that server never collects user-owned data meaning it is great at preserving privacy. FL's process starts with the server sending a model to clients, then the clients train that model using their data and send the updated model back to the server. Afterward, the server aggregates all the updates and modifies the global model. This process is repeated until the model converges. This study focuses on an FL setting called cross-device FL, which trains based on a large number of clients. Since many devices may be unavailable in cross-device FL, and communication between the server and all clients is extremely costly, only a fraction of clients gets selected for training at each round. In vanilla FL, clients are selected randomly, which results in an acceptable accuracy but is not ideal from the overall training time perspective, since some clients are slow and can cause some training rounds to be slow. If only fast clients get selected the learning would speed up, but it will be biased toward only the fast clients' data, and the accuracy degrades. Consequently, new client selection techniques have been proposed to improve the training time by considering individual clients' resources and speed. This paper introduces the first availability-aware selection strategy called MDA. The results show that our approach makes learning faster than vanilla FL by up to 6.5%. Moreover, we show that resource heterogeneity-aware techniques are effective but can become even better when combined with our approach, making it faster than the state-of-the-art selectors by up to 16%. Lastly, our approach selects more unique clients for training compared to client selectors that only select fast clients, which reduces our technique's bias.
• Abstract（参考訳）: 近年,federated learning(fl)と呼ばれる新しい分散学習方式が導入された。 FLは、サーバがユーザーが所有するデータを収集しないように設計されている。 flのプロセスは、サーバがクライアントにモデルを送信することから始まり、クライアントはそのモデルを使ってトレーニングし、更新されたモデルをサーバに送信する。 その後、サーバはすべての更新を集約し、グローバルモデルを変更する。 このプロセスはモデルが収束するまで繰り返される。 本研究は,多数のクライアントをトレーニングするクロスデバイスFLというFL設定に焦点を当てた。 多くのデバイスはデバイス横断FLでは利用できないため、サーバとすべてのクライアント間の通信は非常にコストがかかるため、各ラウンドでトレーニングするために選択されるクライアントはごくわずかである。 バニラflでは、クライアントはランダムに選択されるため、許容できる精度は得られるが、トレーニング時間の観点からは理想的ではない。 高速なクライアントだけが選択されれば、学習はスピードアップするが、高速なクライアントのデータのみに偏り、精度が低下する。 その結果、個々のクライアントのリソースと速度を考慮し、トレーニング時間を改善する新しいクライアント選択手法が提案されている。 本稿では,MDA と呼ばれるアベイラビリティを考慮した最初の選択戦略を紹介する。 その結果,学習速度はvanilla flよりも最大6.5%向上した。 さらに,資源の不均質性認識手法は有効であるが,我々の手法と組み合わせるとさらに良くなり,最先端のセレクタよりも最大16%高速化できることを示した。 最後に、我々の手法は、高速クライアントのみを選択するクライアントセレクタと比較して、トレーニングのためのユニークなクライアントを選択する。

関連論文リスト

• Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
  各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。 本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
  論文  参考訳（メタデータ） (2024-06-03T08:48:49Z)
• Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
  クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。 Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。 Sparse-ProxSkipの優れた性能を広範な実験で実証する。
  論文  参考訳（メタデータ） (2024-05-31T05:21:12Z)
• FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
  フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。 既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。 フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
  論文  参考訳（メタデータ） (2023-06-25T13:38:51Z)
• Client Selection for Generalization in Accelerated Federated Learning: A Multi-Armed Bandit Approach [20.300740276237523]
  フェデレート・ラーニング(Federated Learning, FL)は、ローカルデータセットを保持する複数のノード(すなわちクライアント)にわたるモデルをトレーニングするために使用される機械学習(ML)パラダイムである。 FL(Bandit Scheduling for FL)と呼ばれる,この目標を達成するための新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-03-18T09:45:58Z)
• Latency Aware Semi-synchronous Client Selection and Model Aggregation for Wireless Federated Learning [0.6882042556551609]
  Federated Learning(FL)は、機械学習モデルのトレーニングプロセスに参加するために異なるクライアント(IoTデバイスなど)を必要とする、協調的な機械学習フレームワークである。 従来のFLプロセスは、異種クライアント設定のストラグラー問題に悩まされる可能性がある。 本稿では,すべてのクライアントがFLプロセス全体に参加することができるが周波数の異なるフェデレートリールネーリング(LESSON)法に対して,セミ同期クライアント選択とmOdelアグリゲーションアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2022-10-19T05:59:22Z)
• Aergia: Leveraging Heterogeneity in Federated Learning Systems [5.0650178943079]
  フェデレートラーニング(FL)は、クライアントを頼りに、ローカルデータセットを使用してグローバルモデルを更新する。 Aergiaは、遅いクライアントがトレーニングで最も計算集約的なモデルの一部を凍結する、新しいアプローチである。 AergiaはFedAvgとTiFLと比較して、異種条件下でのトレーニング時間を最大27%と53%と大幅に短縮する。
  論文  参考訳（メタデータ） (2022-10-12T12:59:18Z)
• Federated Select: A Primitive for Communication- and Memory-Efficient Federated Learning [4.873569522869751]
  Federated Learning(FL)は、異種クライアントデバイス間で機械学習を行うためのフレームワークである。 クライアントがどの値を送信するかを"選択"する,より一般的な手順を提案する。 これにより、クライアントは小さなデータ依存スライスで操作できる。
  論文  参考訳（メタデータ） (2022-08-19T16:26:03Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Inference-Time Personalized Federated Learning [17.60724466773559]
  推論時間 PFL (Inference-Time PFL) は、一連のクライアントでトレーニングされたモデルを、推論時に新しい未ラベルのクライアントで後で評価する必要がある場所である。 本稿では,ハイパーネットワークモジュールとエンコーダモジュールをベースとしたIT-PFL-HNを提案する。 IT-PFL-HNは、特に新規クライアントが大きなドメインシフトを持つ場合、現在のFL法やPFL法よりも一般化されている。
  論文  参考訳（メタデータ） (2021-11-16T10:57:20Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。