論文の概要: Byzantine-Robust Federated Learning: Impact of Client Subsampling and Local Updates
- arxiv url: http://arxiv.org/abs/2402.12780v2
- Date: Mon, 10 Jun 2024 13:43:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 01:23:27.626466
- Title: Byzantine-Robust Federated Learning: Impact of Client Subsampling and Local Updates
- Title（参考訳）: Byzantine-Robust Federated Learning: クライアントサブサンプリングとローカルアップデートの影響
- Authors: Youssef Allouah, Sadegh Farhadkhani, Rachid GuerraouI, Nirupam Gupta, Rafael Pinot, Geovani Rizk, Sasha Voitovych,
- Abstract要約: 逆境(エム・ビザンティン)のクライアントは、連邦学習(FL)を任意に操作する傾向がある。
学習精度の向上は, サブサンプルクライアント数に対して著しく低下することを示す。
また、注意深いステップ選択の下では、ビザンティンのクライアントによる学習エラーは局所的なステップの数とともに減少する。
- 参考スコア（独自算出の注目度）: 11.616782769625003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The possibility of adversarial (a.k.a., {\em Byzantine}) clients makes federated learning (FL) prone to arbitrary manipulation. The natural approach to robustify FL against adversarial clients is to replace the simple averaging operation at the server in the standard $\mathsf{FedAvg}$ algorithm by a \emph{robust averaging rule}. While a significant amount of work has been devoted to studying the convergence of federated {\em robust averaging} (which we denote by $\mathsf{FedRo}$), prior work has largely ignored the impact of {\em client subsampling} and {\em local steps}, two fundamental FL characteristics. While client subsampling increases the effective fraction of Byzantine clients, local steps increase the drift between the local updates computed by honest (i.e., non-Byzantine) clients. Consequently, a careless deployment of $\mathsf{FedRo}$ could yield poor performance. We validate this observation by presenting an in-depth analysis of $\mathsf{FedRo}$ tightly analyzing the impact of client subsampling and local steps. Specifically, we present a sufficient condition on client subsampling for nearly-optimal convergence of $\mathsf{FedRo}$ (for smooth non-convex loss). Also, we show that the rate of improvement in learning accuracy {\em diminishes} with respect to the number of clients subsampled, as soon as the sample size exceeds a threshold value. Interestingly, we also observe that under a careful choice of step-sizes, the learning error due to Byzantine clients decreases with the number of local steps. We validate our theory by experiments on the FEMNIST and CIFAR-$10$ image classification tasks.
- Abstract（参考訳）: 敵対的(すなわちビザンティン)なクライアントの可能性は、連邦学習(FL)を任意に操作する傾向がある。
FLを敵クライアントに対して堅牢化するための自然なアプローチは、標準的な$\mathsf{FedAvg}$アルゴリズムでサーバにおける単純な平均演算を \emph{robust averaging rule} で置き換えることである。
フェデレーションされた {\em robust averaging} (これは$\mathsf{FedRo}$と表記する)の収束の研究に多大な研究が費やされているが、以前の研究は2つの基本的なFL特性である {\em client subsampling} と {\em local steps} の影響をほとんど無視してきた。
クライアントサブサンプリングはビザンツのクライアントの有効割合を増加させる一方、ローカルステップは、正直な(非ビザンツの)クライアントによって計算されるローカル更新の間のドリフトを増加させる。
その結果、$\mathsf{FedRo}$の不注意なデプロイはパフォーマンスを低下させる可能性がある。
我々は、クライアントサブサンプリングとローカルステップの影響を厳密に分析し、$\mathsf{FedRo}$の詳細な分析を行うことで、この観察を検証した。
具体的には、クライアントサブサンプリングにおいて$\mathsf{FedRo}$(滑らかな非凸損失に対して)のほぼ最適収束に対する十分条件を示す。
また, サンプルサイズが閾値を超えると, クライアント数に対する学習精度の向上率が低下することを示す。
興味深いことに、ステップサイズを慎重に選択することで、ビザンティンのクライアントによる学習エラーが局所的なステップ数で減少する。
FEMNIST と CIFAR-$10$ の画像分類タスクの実験により,我々の理論を検証した。
関連論文リスト
- Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。
FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。
本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
論文 参考訳（メタデータ） (2024-05-16T14:22:49Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Towards Bias Correction of FedAvg over Nonuniform and Time-Varying
Communications [26.597515045714502]
Federated Learning(FL)は、パラメータサーバ(PS)とクライアントのコレクションが協調して、グローバルな目的を通じてモデルをトレーニングする分散学習フレームワークである。
チャネル条件が時間とともに変化している場合、FedFederated Postponedグローバルモデルは、ゴシップ型情報混合エラーを延期しないことを示す。
論文 参考訳（メタデータ） (2023-06-01T01:52:03Z) - Federated Learning with Regularized Client Participation [1.433758865948252]
Federated Learning(FL)は、複数のクライアントが協力して機械学習タスクを解決する分散機械学習アプローチである。
FLの主な課題の1つは、多くのクライアントがトレーニングプロセスに関与しているときに発生する部分的な参加の問題である。
本稿では,新しい手法を提案し,新しいクライアント参加方式を設計する。
論文 参考訳（メタデータ） (2023-02-07T18:26:07Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:27:51Z) - Combating Client Dropout in Federated Learning via Friend Model
Substitution [8.325089307976654]
Federated Learning(FL)は、データプライバシと通信効率のメリットで知られる、新たな分散機械学習フレームワークである。
本稿では,受動的部分的クライアント参加シナリオについて検討する。
我々は,データ配信に類似したクライアントの友人を検出する新しいアルゴリズムFL-FDMSを開発した。
MNISTとCIFAR-10の実験により、FL-FDMSのFLにおけるクライアントドロップアウト処理における優れた性能が確認された。
論文 参考訳（メタデータ） (2022-05-26T08:34:28Z) - Server-Side Stepsizes and Sampling Without Replacement Provably Help in
Federated Optimization [6.935471115003109]
本稿では,クライアント更新のフェデレーション学習に関する理論的研究を行う。
特に、ローカライズが小さくなると、すべてのクライアントに対してアップデートを行うことができることを証明しています。
また,サーバ側ステップサイズを小さくすることで,クライアントサンプリングのノイズを制御できることも証明した。
論文 参考訳（メタデータ） (2022-01-26T17:26:25Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳（メタデータ） (2021-01-18T07:19:08Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳（メタデータ） (2020-12-07T21:05:31Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with
Lazy Clients [124.48732110742623]
フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。
BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。
遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
論文 参考訳（メタデータ） (2020-12-02T12:18:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。