論文の概要: Stochastic Client Selection for Federated Learning with Volatile Clients
- arxiv url: http://arxiv.org/abs/2011.08756v3
- Date: Sat, 12 Feb 2022 08:31:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-24 17:49:20.988175
- Title: Stochastic Client Selection for Federated Learning with Volatile Clients
- Title(参考訳): 揮発性クライアントを用いたフェデレーション学習のための確率的クライアント選択
- Authors: Tiansheng Huang, Weiwei Lin, Li Shen, Keqin Li, and Albert Y. Zomaya
- Abstract要約: Federated Learning(FL)は、プライバシ保護機械学習パラダイムである。
同期FLトレーニングの各ラウンドでは、参加できるクライアントはごくわずかである。
本稿では,この問題を解決するためのクライアント選択方式であるE3CSを提案する。
- 参考スコア(独自算出の注目度): 41.591655430723186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL), arising as a privacy-preserving machine learning
paradigm, has received notable attention from the public. In each round of
synchronous FL training, only a fraction of available clients are chosen to
participate, and the selection decision might have a significant effect on the
training efficiency, as well as the final model performance. In this paper, we
investigate the client selection problem under a volatile context, in which the
local training of heterogeneous clients is likely to fail due to various kinds
of reasons and in different levels of frequency. {\color{black}Intuitively, too
much training failure might potentially reduce the training efficiency, while
too much selection on clients with greater stability might introduce bias,
thereby resulting in degradation of the training effectiveness. To tackle this
tradeoff, we in this paper formulate the client selection problem under joint
consideration of effective participation and fairness.} Further, we propose
E3CS, a stochastic client selection scheme to solve the problem, and we
corroborate its effectiveness by conducting real data-based experiments.
According to our experimental results, the proposed selection scheme is able to
achieve up to 2x faster convergence to a fixed model accuracy while maintaining
the same level of final model accuracy, compared with the state-of-the-art
selection schemes.
- Abstract(参考訳): プライバシー保護型機械学習パラダイムとして生まれたフェデレーション学習(fl)は、広く注目を集めている。
同期flトレーニングの各ラウンドにおいて、参加するクライアントはごくわずかであり、選択決定はトレーニング効率と最終的なモデルパフォーマンスに重大な影響を与える可能性がある。
本稿では,不均質なクライアントの局所的な訓練が,様々な理由と周波数の相違により失敗する可能性のある,揮発性文脈下でのクライアント選択問題について検討する。
直感的には、トレーニングの失敗が多すぎるとトレーニング効率が低下する可能性があり、より安定性の高いクライアントの選択が偏りをもたらし、トレーニング効率が低下する可能性がある。
このトレードオフに取り組むため,本稿では,効果的な参加と公平性を考慮したクライアント選択問題を定式化する。
さらに,この問題を解決するための確率的クライアント選択方式であるE3CSを提案し,実際のデータに基づく実験を行うことで,その有効性を裏付ける。
実験結果によると,提案手法は,最先端の選択方式と比較して,同じレベルの最終モデルの精度を維持しつつ,固定モデル精度への最大2倍の収束を実現することができる。
関連論文リスト
- Joint Probability Selection and Power Allocation for Federated Learning [2.9364773826704993]
我々は,限られたエネルギー予算を持つデバイスが機械学習モデルを訓練する無線ネットワーク上でのフェデレーション学習の性能について検討した。
我々は、クライアントを共同で選択し、電力を最適に割り当てるための新しい確率的アプローチを定式化する。
その結果,提案手法はエネルギー消費, 完了時間, 精度の点で, 評価されたベンチマークと比較すると有意な性能を示した。
論文 参考訳(メタデータ) (2024-01-15T15:09:47Z) - Federated Learning While Providing Model as a Service: Joint Training
and Inference Optimization [30.305956110710266]
フェデレーション学習は、分散クライアント間のモデルのトレーニングを可能にする上で有益である。
既存の作業は、クライアントの限られたリソースの下でのモデルトレーニングと推論の共存を見落としている。
本稿では,クライアントにおける推論性能を最大化するために,モデルトレーニングと推論の協調最適化に焦点を当てる。
論文 参考訳(メタデータ) (2023-12-20T09:27:09Z) - FedJETs: Efficient Just-In-Time Personalization with Federated Mixture
of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。
我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。
我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文 参考訳(メタデータ) (2023-06-14T15:47:52Z) - When Do Curricula Work in Federated Learning? [56.88941905240137]
カリキュラム学習は非IID性を大幅に軽減する。
クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。
本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
論文 参考訳(メタデータ) (2022-12-24T11:02:35Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳(メタデータ) (2022-09-30T05:42:56Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳(メタデータ) (2022-06-05T01:14:46Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳(メタデータ) (2021-08-12T14:18:05Z) - An Efficiency-boosting Client Selection Scheme for Federated Learning
with Fairness Guarantee [36.07970788489]
フェデレートラーニング(Federated Learning)は、クライアントがモデルトレーニングをローカルに実行できるようにすることによって、プライバシ問題に対処する新たなパラダイムである。
クライアント選択ポリシーは、トレーニング効率、最終モデルの質、公平性の観点から、FLプロセスにとって重要なものです。
本稿では、Lyapunov最適化問題として保証されたクライアント選択の公平性をモデル化し、C2MABに基づくモデル交換時間推定法を提案する。
論文 参考訳(メタデータ) (2020-11-03T15:27:02Z) - Client Selection in Federated Learning: Convergence Analysis and
Power-of-Choice Selection Strategies [29.127689561987964]
フェデレートラーニングにより、多数のリソース制限されたクライアントノードが、データ共有なしで協調的にモデルをトレーニングできる。
局所的損失の高いクライアントに対するクライアント選択の偏りは、より高速なエラー収束を実現することを示す。
通信および計算効率の高いクライアント選択フレームワークであるPower-of-Choiceを提案する。
論文 参考訳(メタデータ) (2020-10-03T01:04:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。