論文の概要: FilFL: Client Filtering for Optimized Client Participation in Federated
Learning
- arxiv url: http://arxiv.org/abs/2302.06599v2
- Date: Mon, 5 Jun 2023 17:58:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 02:57:23.711700
- Title: FilFL: Client Filtering for Optimized Client Participation in Federated
Learning
- Title(参考訳): FilFL:フェデレートラーニングにおけるクライアント参加最適化のためのクライアントフィルタリング
- Authors: Fares Fourati, Salma Kharrat, Vaneet Aggarwal, Mohamed-Slim Alouini,
Marco Canini
- Abstract要約: クライアントフィルタリングを導入し,クライアント参加とトレーニングを最適化する新たなアプローチであるFilFLを提案する。
FilFLは利用可能なクライアントを定期的にフィルタリングし、効率的なグリーディフィルタリングアルゴリズムを用いて目的関数を最大化するサブセットを特定する。
実験の結果,学習効率の向上,収束の高速化,テスト精度の最大10%向上など,我々のアプローチのメリットを実証した。
- 参考スコア(独自算出の注目度): 95.27347185031265
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is an emerging machine learning paradigm that enables
clients to train collaboratively without exchanging local data. The clients
participating in the training process have a crucial impact on the convergence
rate, learning efficiency, and model generalization. In this work, we propose
FilFL, a new approach to optimizing client participation and training by
introducing client filtering. FilFL periodically filters the available clients
to identify a subset that maximizes a combinatorial objective function using an
efficient greedy filtering algorithm. From this filtered-in subset, clients are
then selected for the training process. We provide a thorough analysis of FilFL
convergence in a heterogeneous setting and evaluate its performance across
diverse vision and language tasks and realistic federated scenarios with
time-varying client availability. Our empirical results demonstrate several
benefits of our approach, including improved learning efficiency, faster
convergence, and up to 10 percentage points higher test accuracy compared to
scenarios where client filtering is not utilized.
- Abstract(参考訳): フェデレートラーニング(Federated Learning)は、クライアントがローカルデータを交換することなく協調的にトレーニングできる、新たな機械学習パラダイムである。
学習プロセスに参加しているクライアントは、収束率、学習効率、モデル一般化に重大な影響を与える。
本稿では,filflを提案する。filflは,クライアントのフィルタリングを導入することで,クライアントの参加とトレーニングを最適化する新しい手法である。
FilFLは利用可能なクライアントを定期的にフィルタリングし、効率的なグリーディフィルタリングアルゴリズムを用いて組合せ目的関数を最大化するサブセットを特定する。
このフィルタインサブセットから、クライアントはトレーニングプロセスのために選択される。
異種環境におけるFilFL収束の徹底的な解析を行い、その性能を様々なビジョンや言語タスク、および時間変化のあるクライアント可用性を備えた現実的なフェデレーションシナリオで評価する。
学習効率の向上,収束の高速化,最大10ポイントまでのテスト精度向上など,クライアントフィルタリングを使用しないシナリオと比較して,このアプローチのメリットを実証した。
関連論文リスト
- Accelerating Non-IID Federated Learning via Heterogeneity-Guided Client
Sampling [17.56259695496955]
HiCS-FLはサーバがクライアントの出力層を更新してクライアントデータの統計的不均一性を推定する新しいクライアント選択手法である。
非IID設定では、HICS-FLは最先端のFLクライアント選択方式よりも高速な収束とトレーニングの分散を実現する。
論文 参考訳(メタデータ) (2023-09-30T00:29:30Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳(メタデータ) (2023-06-25T13:38:51Z) - When to Trust Aggregated Gradients: Addressing Negative Client Sampling
in Federated Learning [41.51682329500003]
本稿では,各ラウンドにおける集約勾配に対するサーバ学習率を調整するための新しい学習率適応機構を提案する。
我々は、最適なサーバ学習率に肯定的な有意義で堅牢な指標を見つけるために、理論的な推論を行う。
論文 参考訳(メタデータ) (2023-01-25T03:52:45Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳(メタデータ) (2022-09-30T05:42:56Z) - Clustered Scheduling and Communication Pipelining For Efficient Resource
Management Of Wireless Federated Learning [6.753282396352072]
本稿では,コミュニケーションパイプラインを用いて,フェデレート学習の無線スペクトル利用効率と収束速度を向上させることを提案する。
我々は、異なる設定下で最適なクライアントクラスタリングのための汎用的な定式化を行い、最適解を得るための効率的なアルゴリズムを解析的に導出する。
論文 参考訳(メタデータ) (2022-06-15T16:23:19Z) - To Federate or Not To Federate: Incentivizing Client Participation in
Federated Learning [22.3101738137465]
フェデレートラーニング(FL)は、共通の機械学習モデルをトレーニングしようとするクライアントのグループ間のコラボレーションを促進する。
本稿では,グローバルモデルにインセンティブを与えるクライアントの割合を明示的に最大化する,IncFLと呼ばれるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-30T04:03:31Z) - On the Convergence of Clustered Federated Learning [57.934295064030636]
統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。
本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-13T02:39:19Z) - Client Selection in Federated Learning: Convergence Analysis and
Power-of-Choice Selection Strategies [29.127689561987964]
フェデレートラーニングにより、多数のリソース制限されたクライアントノードが、データ共有なしで協調的にモデルをトレーニングできる。
局所的損失の高いクライアントに対するクライアント選択の偏りは、より高速なエラー収束を実現することを示す。
通信および計算効率の高いクライアント選択フレームワークであるPower-of-Choiceを提案する。
論文 参考訳(メタデータ) (2020-10-03T01:04:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。