論文の概要: Stochastic Client Selection for Federated Learning with Volatile Clients

• arxiv url: http://arxiv.org/abs/2011.08756v3
• Date: Sat, 12 Feb 2022 08:31:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 17:49:20.988175
• Title: Stochastic Client Selection for Federated Learning with Volatile Clients
• Title（参考訳）: 揮発性クライアントを用いたフェデレーション学習のための確率的クライアント選択
• Authors: Tiansheng Huang, Weiwei Lin, Li Shen, Keqin Li, and Albert Y. Zomaya
• Abstract要約: Federated Learning(FL)は、プライバシ保護機械学習パラダイムである。 同期FLトレーニングの各ラウンドでは、参加できるクライアントはごくわずかである。 本稿では,この問題を解決するためのクライアント選択方式であるE3CSを提案する。
• 参考スコア（独自算出の注目度）: 41.591655430723186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL), arising as a privacy-preserving machine learning paradigm, has received notable attention from the public. In each round of synchronous FL training, only a fraction of available clients are chosen to participate, and the selection decision might have a significant effect on the training efficiency, as well as the final model performance. In this paper, we investigate the client selection problem under a volatile context, in which the local training of heterogeneous clients is likely to fail due to various kinds of reasons and in different levels of frequency. {\color{black}Intuitively, too much training failure might potentially reduce the training efficiency, while too much selection on clients with greater stability might introduce bias, thereby resulting in degradation of the training effectiveness. To tackle this tradeoff, we in this paper formulate the client selection problem under joint consideration of effective participation and fairness.} Further, we propose E3CS, a stochastic client selection scheme to solve the problem, and we corroborate its effectiveness by conducting real data-based experiments. According to our experimental results, the proposed selection scheme is able to achieve up to 2x faster convergence to a fixed model accuracy while maintaining the same level of final model accuracy, compared with the state-of-the-art selection schemes.
• Abstract（参考訳）: プライバシー保護型機械学習パラダイムとして生まれたフェデレーション学習(fl)は、広く注目を集めている。 同期flトレーニングの各ラウンドにおいて、参加するクライアントはごくわずかであり、選択決定はトレーニング効率と最終的なモデルパフォーマンスに重大な影響を与える可能性がある。 本稿では,不均質なクライアントの局所的な訓練が,様々な理由と周波数の相違により失敗する可能性のある,揮発性文脈下でのクライアント選択問題について検討する。 直感的には、トレーニングの失敗が多すぎるとトレーニング効率が低下する可能性があり、より安定性の高いクライアントの選択が偏りをもたらし、トレーニング効率が低下する可能性がある。 このトレードオフに取り組むため,本稿では,効果的な参加と公平性を考慮したクライアント選択問題を定式化する。 さらに,この問題を解決するための確率的クライアント選択方式であるE3CSを提案し,実際のデータに基づく実験を行うことで,その有効性を裏付ける。 実験結果によると,提案手法は,最先端の選択方式と比較して,同じレベルの最終モデルの精度を維持しつつ,固定モデル精度への最大2倍の収束を実現することができる。

関連論文リスト

• Submodular Maximization Approaches for Equitable Client Selection in Federated Learning [4.167345675621377]
  従来の学習フレームワークでは、トレーニングのためのクライアント選択は、通常、各イテレーションでクライアントのサブセットをランダムにサンプリングする。 本稿では,ランダムクライアント選択の限界に対処するために,SUBTRUNCとUNIONFLという2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-08-24T22:40:31Z)
• Emulating Full Client Participation: A Long-Term Client Selection Strategy for Federated Learning [48.94952630292219]
  本稿では,クライアントの完全参加によって達成されるパフォーマンスをエミュレートする新しいクライアント選択戦略を提案する。 1ラウンドで、クライアントサブセットとフルクライアントセット間の勾配空間推定誤差を最小化し、クライアントを選択する。 複数ラウンド選択において、類似したデータ分布を持つクライアントが選択される頻度に類似することを保証する、新しい個性制約を導入する。
  論文  参考訳（メタデータ） (2024-05-22T12:27:24Z)
• Ranking-based Client Selection with Imitation Learning for Efficient Federated Learning [20.412469498888292]
  フェデレートラーニング(FL)は、複数のデバイスが共同で共有モデルをトレーニングすることを可能にする。 各トレーニングラウンドにおける参加デバイスの選択は、モデル性能とトレーニング効率の両方に重大な影響を及ぼす。 我々は、エンドツーエンドのランキングベースのアプローチであるFedRankという新しいデバイス選択ソリューションを導入する。
  論文  参考訳（メタデータ） (2024-05-07T08:44:29Z)
• Joint Probability Selection and Power Allocation for Federated Learning [2.9364773826704993]
  我々は,限られたエネルギー予算を持つデバイスが機械学習モデルを訓練する無線ネットワーク上でのフェデレーション学習の性能について検討した。 我々は、クライアントを共同で選択し、電力を最適に割り当てるための新しい確率的アプローチを定式化する。 その結果,提案手法はエネルギー消費, 完了時間, 精度の点で, 評価されたベンチマークと比較すると有意な性能を示した。
  論文  参考訳（メタデータ） (2024-01-15T15:09:47Z)
• FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
  フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。 トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。 本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
  論文  参考訳（メタデータ） (2023-02-13T18:55:31Z)
• When Do Curricula Work in Federated Learning? [56.88941905240137]
  カリキュラム学習は非IID性を大幅に軽減する。 クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。 本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
  論文  参考訳（メタデータ） (2022-12-24T11:02:35Z)
• Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
  本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。 我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。 特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
  論文  参考訳（メタデータ） (2022-09-30T05:42:56Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• An Efficiency-boosting Client Selection Scheme for Federated Learning with Fairness Guarantee [36.07970788489]
  フェデレートラーニング(Federated Learning)は、クライアントがモデルトレーニングをローカルに実行できるようにすることによって、プライバシ問題に対処する新たなパラダイムである。 クライアント選択ポリシーは、トレーニング効率、最終モデルの質、公平性の観点から、FLプロセスにとって重要なものです。 本稿では、Lyapunov最適化問題として保証されたクライアント選択の公平性をモデル化し、C2MABに基づくモデル交換時間推定法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T15:27:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。