論文の概要: FilFL: Accelerating Federated Learning via Client Filtering
- arxiv url: http://arxiv.org/abs/2302.06599v1
- Date: Mon, 13 Feb 2023 18:55:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 14:17:09.024336
- Title: FilFL: Accelerating Federated Learning via Client Filtering
- Title(参考訳): filfl: クライアントフィルタリングによる連合学習の促進
- Authors: Fares Fourati, Salma Kharrat, Vaneet Aggarwal, Mohamed-Slim Alouini,
Marco Canini
- Abstract要約: クライアント選択とトレーニングを最適化するために、フェデレートラーニング(FilFL)におけるクライアントフィルタリングを導入する。
FilFLはまず、特定の目的関数を最大化するサブセットを選択してアクティブクライアントをフィルタリングします。
実験の結果,学習効率の向上,収束の加速,2ドル~3タイムの高速化,テスト精度の向上など,アプローチのメリットが示された。
- 参考スコア(独自算出の注目度): 95.27347185031265
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is an emerging machine learning paradigm that enables
devices to train collaboratively without exchanging their local data. The
clients participating in the training process are a random subset selected from
the pool of clients. The above procedure is called client selection which is an
important area in federated learning as it highly impacts the convergence rate,
learning efficiency, and generalization. In this work, we introduce client
filtering in federated learning (FilFL), a new approach to optimize client
selection and training. FilFL first filters the active clients by choosing a
subset of them that maximizes a specific objective function; then, a client
selection method is applied to that subset. We provide a thorough analysis of
its convergence in a heterogeneous setting. Empirical results demonstrate
several benefits to our approach, including improved learning efficiency,
accelerated convergence, $2$-$3\times$ faster, and higher test accuracy, around
$2$-$10$ percentage points higher.
- Abstract(参考訳): フェデレートラーニング(Federated Learning)は、デバイスがローカルデータを交換することなく協調的にトレーニングできる、新たな機械学習パラダイムである。
トレーニングプロセスに参加しているクライアントは、クライアントプールから選択されたランダムサブセットである。
上記の手順はクライアント選択と呼ばれ、収束率、学習効率、一般化に大きな影響を与えるため、連合学習において重要な領域である。
本研究では、クライアント選択とトレーニングを最適化する新しいアプローチであるFilFL(Federated Learning)のクライアントフィルタリングを紹介する。
filflはまず、特定の目的関数を最大化するサブセットを選択することでアクティブクライアントをフィルタリングする。
我々は,不均質な環境での収束を徹底的に解析する。
実験の結果,学習効率の向上,収束促進,2-$3\times$高速化,テスト精度の向上,約2-$10$%向上など,このアプローチに対するいくつかのメリットが示された。
関連論文リスト
- Accelerating Non-IID Federated Learning via Heterogeneity-Guided Client
Sampling [17.56259695496955]
HiCS-FLはサーバがクライアントの出力層を更新してクライアントデータの統計的不均一性を推定する新しいクライアント選択手法である。
非IID設定では、HICS-FLは最先端のFLクライアント選択方式よりも高速な収束とトレーニングの分散を実現する。
論文 参考訳(メタデータ) (2023-09-30T00:29:30Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳(メタデータ) (2023-06-25T13:38:51Z) - When to Trust Aggregated Gradients: Addressing Negative Client Sampling
in Federated Learning [41.51682329500003]
本稿では,各ラウンドにおける集約勾配に対するサーバ学習率を調整するための新しい学習率適応機構を提案する。
我々は、最適なサーバ学習率に肯定的な有意義で堅牢な指標を見つけるために、理論的な推論を行う。
論文 参考訳(メタデータ) (2023-01-25T03:52:45Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳(メタデータ) (2022-09-30T05:42:56Z) - Clustered Scheduling and Communication Pipelining For Efficient Resource
Management Of Wireless Federated Learning [6.753282396352072]
本稿では,コミュニケーションパイプラインを用いて,フェデレート学習の無線スペクトル利用効率と収束速度を向上させることを提案する。
我々は、異なる設定下で最適なクライアントクラスタリングのための汎用的な定式化を行い、最適解を得るための効率的なアルゴリズムを解析的に導出する。
論文 参考訳(メタデータ) (2022-06-15T16:23:19Z) - To Federate or Not To Federate: Incentivizing Client Participation in
Federated Learning [22.3101738137465]
フェデレートラーニング(FL)は、共通の機械学習モデルをトレーニングしようとするクライアントのグループ間のコラボレーションを促進する。
本稿では,グローバルモデルにインセンティブを与えるクライアントの割合を明示的に最大化する,IncFLと呼ばれるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-30T04:03:31Z) - On the Convergence of Clustered Federated Learning [57.934295064030636]
統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。
本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-13T02:39:19Z) - Client Selection in Federated Learning: Convergence Analysis and
Power-of-Choice Selection Strategies [29.127689561987964]
フェデレートラーニングにより、多数のリソース制限されたクライアントノードが、データ共有なしで協調的にモデルをトレーニングできる。
局所的損失の高いクライアントに対するクライアント選択の偏りは、より高速なエラー収束を実現することを示す。
通信および計算効率の高いクライアント選択フレームワークであるPower-of-Choiceを提案する。
論文 参考訳(メタデータ) (2020-10-03T01:04:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。