論文の概要: Greedy Shapley Client Selection for Communication-Efficient Federated
Learning
- arxiv url: http://arxiv.org/abs/2312.09108v3
- Date: Wed, 7 Feb 2024 08:34:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 19:20:51.645593
- Title: Greedy Shapley Client Selection for Communication-Efficient Federated
Learning
- Title(参考訳): コミュニケーション効率のよい連合学習のための欲深いシャプリークライアント選択
- Authors: Pranava Singhal, Shashi Raj Pandey, Petar Popovski
- Abstract要約: フェデレートラーニング(FL)のための標準的なクライアント選択アルゴリズムは、しばしばバイアスがなく、クライアントのランダムサンプリングが一様である。
私たちは、各通信ラウンドで最も貢献するクライアントを特定し、優しく選択する、バイアスのあるクライアント選択戦略であるGreedyFedを開発します。
複数の実世界のデータセット上のさまざまなクライアント選択戦略と比較して、GreedyFedは、タイミング制約の下で高い精度で高速で安定した収束を示す。
- 参考スコア(独自算出の注目度): 32.38170282930876
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The standard client selection algorithms for Federated Learning (FL) are
often unbiased and involve uniform random sampling of clients. This has been
proven sub-optimal for fast convergence under practical settings characterized
by significant heterogeneity in data distribution, computing, and communication
resources across clients. For applications having timing constraints due to
limited communication opportunities with the parameter server (PS), the client
selection strategy is critical to complete model training within the fixed
budget of communication rounds. To address this, we develop a biased client
selection strategy, GreedyFed, that identifies and greedily selects the most
contributing clients in each communication round. This method builds on a fast
approximation algorithm for the Shapley Value at the PS, making the computation
tractable for real-world applications with many clients. Compared to various
client selection strategies on several real-world datasets, GreedyFed
demonstrates fast and stable convergence with high accuracy under timing
constraints and when imposing a higher degree of heterogeneity in data
distribution, systems constraints, and privacy requirements.
- Abstract(参考訳): フェデレートラーニング(FL)の標準的なクライアント選択アルゴリズムは、しばしばバイアスがなく、クライアントのランダムなサンプリングを含む。
これは、クライアント間でのデータ分散、コンピューティング、および通信リソースが著しく異質であることに特徴付けられる、実用的な環境での高速収束に最適であることが証明されている。
パラメータサーバ(PS)との通信機会の制限によるタイミング制約のあるアプリケーションでは、クライアントの選択戦略は、固定された通信ラウンドの予算内でモデルトレーニングを完了させる上で重要である。
この問題に対処するため、各通信ラウンドで最も貢献するクライアントを特定し、優しく選択する、バイアスのあるクライアント選択戦略であるGreedyFedを開発した。
この手法はPSにおけるShapley Valueの高速近似アルゴリズムに基づいており、多くのクライアントを持つ現実世界のアプリケーションで計算が計算可能である。
複数の実世界のデータセット上のさまざまなクライアント選択戦略と比較して、GreedyFedは、タイミング制約下での高速で安定した収束と、データ分散、システム制約、プライバシ要件の高度な不均一性を示唆している。
関連論文リスト
- Multi-Criteria Client Selection and Scheduling with Fairness Guarantee
for Federated Learning Service [17.986744632466515]
フェデレートラーニング(FL)は、複数のクライアントが生のトレーニングデータを共有せずに、機械学習モデルを協調的にトレーニングすることを可能にする。
公平性を保証するマルチ基準クライアント選択とスケジューリング方式を提案する。
我々のスキームは、特にデータが非IDである場合、モデル品質を改善することができる。
論文 参考訳(メタデータ) (2023-12-05T16:56:24Z) - Intelligent Client Selection for Federated Learning using Cellular
Automata [0.5849783371898033]
FLは、輸送、通信、医療など、さまざまな現実世界のアプリケーションにおいて、プライバシーの強化とレイテンシーのための有望なソリューションとして登場した。
本稿では,新しいクライアント選択アルゴリズムとして,セルラーオートマトンに基づくクライアント選択(CA-CS)を提案する。
この結果から,CA-CSは高遅延フェデレーションクライアントを効果的に回避しつつ,ランダム選択手法に匹敵する精度を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-10-01T09:40:40Z) - Adaptive Control of Client Selection and Gradient Compression for
Efficient Federated Learning [28.185096784982544]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを公開せずに協調的にモデルを訓練することを可能にする。
我々はFedCGと呼ばれる不均一なFLフレームワークを提案し、適応的なクライアント選択と勾配圧縮を行う。
実世界のプロトタイプとシミュレーションの両方の実験により、FedCGは他の方法と比較して最大5.3$times$ Speedupを提供できることが示された。
論文 参考訳(メタデータ) (2022-12-19T14:19:07Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳(メタデータ) (2022-09-30T05:42:56Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳(メタデータ) (2022-06-05T01:14:46Z) - Client Selection Approach in Support of Clustered Federated Learning
over Wireless Edge Networks [2.6774008509840996]
CFL(Clustered Federated Multitask Learning)は、信頼性の高い専門モデルを得るための効率的なスキームとして導入された。
本稿では,特殊な機械学習モデルを得るための収束率の向上を目的とした,新しいクライアント選択アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-08-16T21:38:22Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳(メタデータ) (2020-12-28T19:21:14Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳(メタデータ) (2020-12-15T19:30:29Z) - Client Selection in Federated Learning: Convergence Analysis and
Power-of-Choice Selection Strategies [29.127689561987964]
フェデレートラーニングにより、多数のリソース制限されたクライアントノードが、データ共有なしで協調的にモデルをトレーニングできる。
局所的損失の高いクライアントに対するクライアント選択の偏りは、より高速なエラー収束を実現することを示す。
通信および計算効率の高いクライアント選択フレームワークであるPower-of-Choiceを提案する。
論文 参考訳(メタデータ) (2020-10-03T01:04:17Z) - Multi-Armed Bandit Based Client Scheduling for Federated Learning [91.91224642616882]
統合学習(FL)は、通信オーバーヘッドの低減やデータのプライバシの保護など、ユビキタスな特性を特徴とする。
FLの各通信ラウンドでは、クライアントは自身のデータに基づいてローカルモデルを更新し、無線チャネル経由でローカル更新をアップロードする。
本研究は、無線チャネルの状態情報やクライアントの統計的特性を知ることなく、FLにおけるオンラインクライアントスケジューリング(CS)のためのマルチアームバンディットベースのフレームワークを提供する。
論文 参考訳(メタデータ) (2020-07-05T12:32:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。