Fugu-MT 論文翻訳(概要): Sample Selection with Deadline Control for Efficient Federated Learning on Heterogeneous Clients

論文の概要: Sample Selection with Deadline Control for Efficient Federated Learning on Heterogeneous Clients

arxiv url: http://arxiv.org/abs/2201.01601v1
Date: Wed, 5 Jan 2022 13:35:35 GMT
ステータス: 処理完了
システム内更新日: 2022-01-06 14:17:57.904397
Title: Sample Selection with Deadline Control for Efficient Federated Learning on Heterogeneous Clients
Title（参考訳）: ヘテロジニアスクライアント上での効率的なフェデレーション学習のための期限制御によるサンプル選択
Authors: Jaemin Shin, Yuanchun Li, Yunxin Liu, Sung-Ju Lee
Abstract要約: Federated Learning (FL)は、個々のデータを公開せずに、分散クライアント上で機械学習モデルをトレーニングする。クライアントのトレーニングサンプルを積極的に選択する体系的なFLフレームワークであるFedBalancerを提案する。モデル精度を1.03.3%向上させながら,FedBalancerは1.224.62倍の精度向上を実現した。
参考スコア（独自算出の注目度）: 8.350621280672891
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning (FL) trains a machine learning model on distributed clients without exposing individual data. Unlike centralized training that is usually based on carefully-organized data, FL deals with on-device data that are often unfiltered and imbalanced. As a result, conventional FL training protocol that treats all data equally leads to a waste of local computational resources and slows down the global learning process. To this end, we propose FedBalancer, a systematic FL framework that actively selects clients' training samples. Our sample selection strategy prioritizes more "informative" data while respecting privacy and computational capabilities of clients. To better utilize the sample selection to speed up global training, we further introduce an adaptive deadline control scheme that predicts the optimal deadline for each round with varying client train data. Compared with existing FL algorithms with deadline configuration methods, our evaluation on five datasets from three different domains shows that FedBalancer improves the time-to-accuracy performance by 1.22~4.62x while improving the model accuracy by 1.0~3.3%. We also show that FedBalancer is readily applicable to other FL approaches by demonstrating that FedBalancer improves the convergence speed and accuracy when operating jointly with three different FL algorithms.
Abstract（参考訳）: Federated Learning (FL)は、個々のデータを公開せずに、分散クライアント上で機械学習モデルをトレーニングする。通常、慎重に整理されたデータに基づく集中型トレーニングとは異なり、FLはデバイス上のデータを扱う。その結果、全てのデータを均等に扱う従来のFLトレーニングプロトコルは、ローカルな計算資源の無駄を招き、グローバルな学習プロセスを遅くする。この目的のために,クライアントのトレーニングサンプルを積極的に選択する体系的FLフレームワークであるFedBalancerを提案する。当社のサンプル選択戦略は,クライアントのプライバシと計算能力を尊重しながら,より"情報的"なデータを優先する。さらに,グローバルトレーニングを高速化するために,各ラウンド毎の最適期限を様々なクライアントトレインデータで予測する適応期限制御方式を導入する。既存のFLアルゴリズムと期限設定法を比較すると,FedBalancerは1.22～4.62倍の精度向上を実現し,モデルの精度は1.0～3.3%向上した。また,3つの異なるflアルゴリズムと協調して動作した場合の収束速度と精度が向上することを示すことにより,他のflアプローチにも容易に適用できることを示す。

関連論文リスト

An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
FedFNN: Faster Training Convergence Through Update Predictions in Federated Recommender Systems [4.4273123155989715]
フェデレートラーニング(FL)は、分散機械学習の鍵となるアプローチとして登場した。本稿では、分散モデルトレーニングを高速化するアルゴリズムであるFedFNNを紹介する。
論文参考訳（メタデータ） (2023-09-14T13:18:43Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文参考訳（メタデータ） (2023-06-25T13:38:51Z)
FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文参考訳（メタデータ） (2022-10-31T22:59:03Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Accelerating Federated Learning with a Global Biased Optimiser [16.69005478209394]
Federated Learning(FL)は、クライアントデバイスを離れるトレーニングデータなしでモデルを協調訓練する機械学習の分野における最近の開発である。本稿では,FedGBO(Federated Global Biased Optimiser)アルゴリズムを用いて,適応最適化手法をFLに適用する手法を提案する。 FedGBOは、FLの局所的なトレーニングフェーズにおいて、グローバルバイアス付きオプティマイザ値のセットを適用することでFLを加速し、非IIDデータからのクライアントドリフトを減少させる。
論文参考訳（メタデータ） (2021-08-20T12:08:44Z)
Unifying Distillation with Personalization in Federated Learning [1.8262547855491458]
Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。この設定では、すべてのクライアントが単一の共通予測器(FedAvg)を学習する。本稿では,2段階のパーソナライズされた学習アルゴリズムPersFLを用いてこの問題に対処する。第1段階では、PersFLはFLトレーニングフェーズにおいて各クライアントの最適な教師モデルを見つけ、第2段階では、PersFLは有用な知識を抽出する。
論文参考訳（メタデータ） (2021-05-31T17:54:29Z)
Improving Accuracy of Federated Learning in Non-IID Settings [11.908715869667445]
Federated Learning(FL)は、データを共有することなく、参加するエージェントのセットが協力してモデルをトレーニングできる、分散機械学習プロトコルである。 FLの性能はエージェントの局所的なデータ分布と密接に関連していることが観察されている。本研究では,FLに付加的な通信オーバーヘッドを発生させることなく,訓練されたモデルの性能を向上させるための4つの簡単な手法を同定する。
論文参考訳（メタデータ） (2020-10-14T21:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。