論文の概要: Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies

• arxiv url: http://arxiv.org/abs/2010.01243v1
• Date: Sat, 3 Oct 2020 01:04:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 09:03:49.376846
• Title: Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies
• Title（参考訳）: フェデレーションラーニングにおけるクライアント選択:収束分析とChoice選択戦略
• Authors: Yae Jee Cho and Jianyu Wang and Gauri Joshi
• Abstract要約: フェデレートラーニングにより、多数のリソース制限されたクライアントノードが、データ共有なしで協調的にモデルをトレーニングできる。 局所的損失の高いクライアントに対するクライアント選択の偏りは、より高速なエラー収束を実現することを示す。 通信および計算効率の高いクライアント選択フレームワークであるPower-of-Choiceを提案する。
• 参考スコア（独自算出の注目度）: 29.127689561987964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a distributed optimization paradigm that enables a large number of resource-limited client nodes to cooperatively train a model without data sharing. Several works have analyzed the convergence of federated learning by accounting of data heterogeneity, communication and computation limitations, and partial client participation. However, they assume unbiased client participation, where clients are selected at random or in proportion of their data sizes. In this paper, we present the first convergence analysis of federated optimization for biased client selection strategies, and quantify how the selection bias affects convergence speed. We reveal that biasing client selection towards clients with higher local loss achieves faster error convergence. Using this insight, we propose Power-of-Choice, a communication- and computation-efficient client selection framework that can flexibly span the trade-off between convergence speed and solution bias. Our experiments demonstrate that Power-of-Choice strategies converge up to 3 $\times$ faster and give $10$% higher test accuracy than the baseline random selection.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、多数のリソース制限されたクライアントノードがデータ共有なしで協調的にモデルをトレーニングできる分散最適化パラダイムである。 いくつかの研究は、データの不均一性、通信と計算の制限、および部分的なクライアント参加を考慮し、連合学習の収束を分析した。 しかし彼らは、クライアントがランダムに、あるいはデータサイズの割合で選択される、偏見のないクライアント参加を前提としている。 本稿では,バイアスドクライアント選択戦略におけるフェデレーション最適化の最初の収束解析を行い,選択バイアスが収束速度に与える影響を定量化する。 局所的損失の高いクライアントに対するクライアント選択の偏りは,エラー収束の高速化を実現する。 この知見を用いて,収束速度と解バイアスのトレードオフを柔軟に乗り越える通信と計算効率のよいクライアント選択フレームワークpower-of-choiceを提案する。 実験の結果,パワー・オブ・チョイスの戦略は3$\times$高速に収束し,ベースラインのランダム選択よりも10$%高いテスト精度が得られた。

関連論文リスト

• Submodular Maximization Approaches for Equitable Client Selection in Federated Learning [4.167345675621377]
  従来の学習フレームワークでは、トレーニングのためのクライアント選択は、通常、各イテレーションでクライアントのサブセットをランダムにサンプリングする。 本稿では,ランダムクライアント選択の限界に対処するために,SUBTRUNCとUNIONFLという2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-08-24T22:40:31Z)
• Emulating Full Client Participation: A Long-Term Client Selection Strategy for Federated Learning [48.94952630292219]
  本稿では,クライアントの完全参加によって達成されるパフォーマンスをエミュレートする新しいクライアント選択戦略を提案する。 1ラウンドで、クライアントサブセットとフルクライアントセット間の勾配空間推定誤差を最小化し、クライアントを選択する。 複数ラウンド選択において、類似したデータ分布を持つクライアントが選択される頻度に類似することを保証する、新しい個性制約を導入する。
  論文  参考訳（メタデータ） (2024-05-22T12:27:24Z)
• Greedy Shapley Client Selection for Communication-Efficient Federated Learning [32.38170282930876]
  フェデレートラーニング(FL)のための標準的なクライアント選択アルゴリズムは、しばしばバイアスがなく、クライアントのランダムサンプリングが一様である。 私たちは、各通信ラウンドで最も貢献するクライアントを特定し、優しく選択する、バイアスのあるクライアント選択戦略であるGreedyFedを開発します。 複数の実世界のデータセット上のさまざまなクライアント選択戦略と比較して、GreedyFedは、タイミング制約の下で高い精度で高速で安定した収束を示す。
  論文  参考訳（メタデータ） (2023-12-14T16:44:38Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
  フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。 トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。 本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
  論文  参考訳（メタデータ） (2023-02-13T18:55:31Z)
• Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
  本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。 我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。 特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
  論文  参考訳（メタデータ） (2022-09-30T05:42:56Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• FedGP: Correlation-Based Active Client Selection for Heterogeneous Federated Learning [33.996041254246585]
  相関に基づくクライアント選択戦略に基づいて構築されたフェデレート学習フレームワークであるFedGPを提案する。 通信コストを削減するために,過去のサンプルを効率的に活用したGPトレーニング手法を開発した。 学習した相関関係に基づいて,各ラウンドで期待されるグローバル損失の低減を図り,クライアントの選択を導出する。
  論文  参考訳（メタデータ） (2021-03-24T03:25:14Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)
• Bandit-based Communication-Efficient Client Selection Strategies for Federated Learning [8.627405016032615]
  コミュニケーションのオーバーヘッドを低減し、より迅速な収束を実現するバンディットベースのコミュニケーション効率の高いクライアント選択戦略UBB-CSを提案する。 また、クライアントの選択を公平性の向上に活用する方法も実証します。
  論文  参考訳（メタデータ） (2020-12-14T23:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。