論文の概要: Tackling Byzantine Clients in Federated Learning
- arxiv url: http://arxiv.org/abs/2402.12780v1
- Date: Tue, 20 Feb 2024 07:40:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 16:34:02.739941
- Title: Tackling Byzantine Clients in Federated Learning
- Title（参考訳）: 連合学習におけるビザンチン顧客の取り組み
- Authors: Youssef Allouah, Sadegh Farhadkhani, Rachid GuerraouI, Nirupam Gupta,
Rafael Pinot, Geovani Rizk, Sasha Voitovych
- Abstract要約: 逆境(エム・ビザンティン)のクライアントは、連邦学習(FL)を任意に操作する傾向がある。
学習精度の向上は, サブサンプルクライアント数に対して著しく低下することを示す。
また、注意深いステップ選択の下では、ビザンティンのクライアントによる学習エラーは局所的なステップの数とともに減少する。
- 参考スコア（独自算出の注目度）: 12.199314713190354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The possibility of adversarial (a.k.a., {\em Byzantine}) clients makes
federated learning (FL) prone to arbitrary manipulation. The natural approach
to robustify FL against adversarial clients is to replace the simple averaging
operation at the server in the standard $\mathsf{FedAvg}$ algorithm by a
\emph{robust averaging rule}. While a significant amount of work has been
devoted to studying the convergence of federated {\em robust averaging} (which
we denote by $\mathsf{FedRo}$), prior work has largely ignored the impact of
{\em client subsampling} and {\em local steps}, two fundamental FL
characteristics. While client subsampling increases the effective fraction of
Byzantine clients, local steps increase the drift between the local updates
computed by honest (i.e., non-Byzantine) clients. Consequently, a careless
deployment of $\mathsf{FedRo}$ could yield poor performance. We validate this
observation by presenting an in-depth analysis of $\mathsf{FedRo}$ tightly
analyzing the impact of client subsampling and local steps. Specifically, we
present a sufficient condition on client subsampling for nearly-optimal
convergence of $\mathsf{FedRo}$ (for smooth non-convex loss). Also, we show
that the rate of improvement in learning accuracy {\em diminishes} with respect
to the number of clients subsampled, as soon as the sample size exceeds a
threshold value. Interestingly, we also observe that under a careful choice of
step-sizes, the learning error due to Byzantine clients decreases with the
number of local steps. We validate our theory by experiments on the FEMNIST and
CIFAR-$10$ image classification tasks.
- Abstract（参考訳）: 敵対的なクライアント(すなわち、ビザンチン)の可能性によって、フェデレーション学習(fl)は任意の操作に陥りやすい。
FLを敵クライアントに対して堅牢化するための自然なアプローチは、標準的な$\mathsf{FedAvg}$アルゴリズムでサーバにおける単純な平均演算を \emph{robust averaging rule} で置き換えることである。
フェデレーションされた {\em robust averaging} (これは$\mathsf{FedRo}$と表記する)の収束の研究に多大な研究が費やされているが、以前の研究は2つの基本的なFL特性である {\em client subsampling} と {\em local steps} の影響をほとんど無視してきた。
クライアントサブサンプリングがビザンチンクライアントの有効割合を増加させる一方で、ローカルステップは、正直なクライアント(すなわち非ビザンチンクライアント)によって計算されるローカル更新間のドリフトを増加させる。
その結果、$\mathsf{FedRo}$の不注意なデプロイはパフォーマンスを低下させる可能性がある。
クライアントのサブサンプリングとローカルステップの影響を厳密に分析して、$\mathsf{fedro}$の詳細な分析を行い、この観察を検証する。
具体的には、$\mathsf{fedro}$(滑らかな非凸損失のため)のほぼ最適収束に対するクライアントサブサンプリングの十分な条件を示す。
また,サンプルサイズがしきい値を超えると,クライアント数に対して学習精度の向上率(em)が低下することを示した。
興味深いことに、ステップサイズを慎重に選択することで、ビザンティンのクライアントによる学習エラーが局所的なステップ数で減少する。
FEMNIST と CIFAR-$10$の画像分類タスクの実験により、我々の理論を検証する。
関連論文リスト
- Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。
FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。
本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
論文 参考訳（メタデータ） (2024-05-16T14:22:49Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Towards Bias Correction of FedAvg over Nonuniform and Time-Varying
Communications [26.597515045714502]
Federated Learning(FL)は、パラメータサーバ(PS)とクライアントのコレクションが協調して、グローバルな目的を通じてモデルをトレーニングする分散学習フレームワークである。
チャネル条件が時間とともに変化している場合、FedFederated Postponedグローバルモデルは、ゴシップ型情報混合エラーを延期しないことを示す。
論文 参考訳（メタデータ） (2023-06-01T01:52:03Z) - Federated Learning with Regularized Client Participation [1.433758865948252]
Federated Learning(FL)は、複数のクライアントが協力して機械学習タスクを解決する分散機械学習アプローチである。
FLの主な課題の1つは、多くのクライアントがトレーニングプロセスに関与しているときに発生する部分的な参加の問題である。
本稿では,新しい手法を提案し,新しいクライアント参加方式を設計する。
論文 参考訳（メタデータ） (2023-02-07T18:26:07Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:27:51Z) - Combating Client Dropout in Federated Learning via Friend Model
Substitution [8.325089307976654]
Federated Learning(FL)は、データプライバシと通信効率のメリットで知られる、新たな分散機械学習フレームワークである。
本稿では,受動的部分的クライアント参加シナリオについて検討する。
我々は,データ配信に類似したクライアントの友人を検出する新しいアルゴリズムFL-FDMSを開発した。
MNISTとCIFAR-10の実験により、FL-FDMSのFLにおけるクライアントドロップアウト処理における優れた性能が確認された。
論文 参考訳（メタデータ） (2022-05-26T08:34:28Z) - Server-Side Stepsizes and Sampling Without Replacement Provably Help in
Federated Optimization [6.935471115003109]
本稿では,クライアント更新のフェデレーション学習に関する理論的研究を行う。
特に、ローカライズが小さくなると、すべてのクライアントに対してアップデートを行うことができることを証明しています。
また,サーバ側ステップサイズを小さくすることで,クライアントサンプリングのノイズを制御できることも証明した。
論文 参考訳（メタデータ） (2022-01-26T17:26:25Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳（メタデータ） (2021-01-18T07:19:08Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳（メタデータ） (2020-12-07T21:05:31Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with
Lazy Clients [124.48732110742623]
フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。
BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。
遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
論文 参考訳（メタデータ） (2020-12-02T12:18:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。