論文の概要: An Experimental Study of Byzantine-Robust Aggregation Schemes in
Federated Learning
- arxiv url: http://arxiv.org/abs/2302.07173v1
- Date: Tue, 14 Feb 2023 16:36:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-15 15:00:03.929984
- Title: An Experimental Study of Byzantine-Robust Aggregation Schemes in
Federated Learning
- Title(参考訳): 連合学習におけるビザンチン-ロバスト集約方式の実験的研究
- Authors: Shenghui Li, Edith C.-H. Ngai, Thiemo Voigt
- Abstract要約: ビザンチン・ロバスト・フェデレーション・ラーニング(Byzantine-robust Federated Learning)は、訓練過程におけるビザンチンの障害を軽減することを目的としている。
ビザンツのクライアントからの悪意のあるアップデートを防御するために、いくつかの堅牢なアグリゲーションスキームが提案されている。
連邦学習における2つの一般的なアルゴリズムを用いて, 異なる攻撃下でのビザンチン・ロバスト・アグリゲーション方式の実験的検討を行った。
- 参考スコア(独自算出の注目度): 4.627944480085717
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Byzantine-robust federated learning aims at mitigating Byzantine failures
during the federated training process, where malicious participants may upload
arbitrary local updates to the central server to degrade the performance of the
global model. In recent years, several robust aggregation schemes have been
proposed to defend against malicious updates from Byzantine clients and improve
the robustness of federated learning. These solutions were claimed to be
Byzantine-robust, under certain assumptions. Other than that, new attack
strategies are emerging, striving to circumvent the defense schemes. However,
there is a lack of systematic comparison and empirical study thereof. In this
paper, we conduct an experimental study of Byzantine-robust aggregation schemes
under different attacks using two popular algorithms in federated learning,
FedSGD and FedAvg . We first survey existing Byzantine attack strategies and
Byzantine-robust aggregation schemes that aim to defend against Byzantine
attacks. We also propose a new scheme, ClippedClustering , to enhance the
robustness of a clustering-based scheme by automatically clipping the updates.
Then we provide an experimental evaluation of eight aggregation schemes in the
scenario of five different Byzantine attacks. Our results show that these
aggregation schemes sustain relatively high accuracy in some cases but are
ineffective in others. In particular, our proposed ClippedClustering
successfully defends against most attacks under independent and IID local
datasets. However, when the local datasets are Non-IID, the performance of all
the aggregation schemes significantly decreases. With Non-IID data, some of
these aggregation schemes fail even in the complete absence of Byzantine
clients. We conclude that the robustness of all the aggregation schemes is
limited, highlighting the need for new defense strategies, in particular for
Non-IID datasets.
- Abstract(参考訳): Byzantine-robustのフェデレーション学習は、フェデレーショントレーニングプロセス中にビザンチンの障害を軽減し、悪意のある参加者が任意のローカルアップデートを中央サーバにアップロードして、グローバルモデルのパフォーマンスを低下させることを目的としている。
近年、ビザンチンのクライアントからの悪質な更新を防御し、連合学習の堅牢性を改善するため、いくつかの強固な集約スキームが提案されている。
これらの解は特定の仮定の下でビザンティン・ロブストであると主張した。
それ以外は、新たな攻撃戦略が出現し、防衛計画を回避しようとしている。
しかし、体系的な比較や実証的な研究が欠如している。
本研究では,federated learning と fedavg の2つのアルゴリズムを用いて,異なる攻撃下でのビザンチン・ロバスト集約方式の実験的検討を行った。
まず,既存のビザンチン攻撃戦略とビザンチン攻撃に対する防御を目的としたビザンチン・ロバスト集約スキームを調査した。
また,更新を自動的にクリップすることで,クラスタリングベースのスキームのロバスト性を高めるための新しいスキームである clippedclustering を提案する。
次に,5種類のビザンツ攻撃のシナリオにおける8つのアグリゲーションスキームの実験的評価を行った。
以上の結果から,これらのアグリゲーション方式は比較的高い精度を保っているが,有効でない場合もある。
特に,我々の提案するクリップ型クラスタ化は,独立型およびiid型ローカルデータセットによる攻撃の多くをうまく防御する。
しかし, 局所データセットが非IIDである場合, 全てのアグリゲーション方式の性能は著しく低下する。
非iidデータでは、これらの集約スキームのいくつかは、ビザンチンクライアントが完全に存在しない場合にも失敗する。
集約方式の堅牢性は限られており,特に非IIDデータセットにおいて,新たな防衛戦略の必要性が強調されている。
関連論文リスト
- Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。
近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。
本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
論文 参考訳(メタデータ) (2024-03-05T09:18:29Z) - Towards Attack-tolerant Federated Learning via Critical Parameter
Analysis [85.41873993551332]
フェデレートされた学習システムは、悪意のあるクライアントが中央サーバーに誤ったアップデートを送信すると、攻撃を害するおそれがある。
本稿では,新たな防衛戦略であるFedCPA(Federated Learning with critical Analysis)を提案する。
攻撃耐性凝集法は, 有害局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒であるのに対し, 類似したトップkおよびボトムk臨界パラメータを持つ。
論文 参考訳(メタデータ) (2023-08-18T05:37:55Z) - A Byzantine-Resilient Aggregation Scheme for Federated Learning via
Matrix Autoregression on Client Updates [0.9978961706999835]
FLANDERSは各FLラウンドでクライアントが送ったローカルモデル更新を行列値の時系列とみなしている。
悪意のあるクライアントを,行列自己回帰予測モデルで推定した結果と実際の観測結果を比較して,外れ値として識別する。
異なるFL設定下でいくつかのデータセットで実施された実験は、FLANDERSがビザンツのクライアントに対して最も強力なベースラインの堅牢性と一致することを示した。
論文 参考訳(メタデータ) (2023-03-29T13:22:20Z) - Byzantines can also Learn from History: Fall of Centered Clipping in
Federated Learning [6.974212769362569]
本研究では,CCフレームワークの防御を回避できる新たな攻撃戦略を提案する。
我々はまた、提案されている他のビザンツ攻撃に対して有効である、より堅牢で高速な防衛機構も提案する。
論文 参考訳(メタデータ) (2022-08-21T14:39:30Z) - MixTailor: Mixed Gradient Aggregation for Robust Learning Against
Tailored Attacks [32.8090455006524]
我々は,アタッカーが完全に情報を得ることができないようなアグリゲーション戦略のランダム化に基づくスキームであるMixTailorを紹介する。
さまざまなデータセット、攻撃、設定にまたがる実証研究は、我々の仮説を検証し、よく知られたビザンチン耐性のスキームが失敗した場合にMixTailorがうまく防御できることを示した。
論文 参考訳(メタデータ) (2022-07-16T13:30:37Z) - Robust Federated Learning via Over-The-Air Computation [48.47690125123958]
オーバー・ザ・エア計算によるモデル更新の簡易な平均化により、学習タスクは悪意のあるクライアントのローカルモデル更新のランダムまたは意図した変更に対して脆弱になる。
本稿では,このような攻撃に対して,フェデレート学習のためのオーバー・ザ・エア計算の利点を保ちながら,ロバストな伝達と集約の枠組みを提案する。
論文 参考訳(メタデータ) (2021-11-01T19:21:21Z) - Hybrid Dynamic Contrast and Probability Distillation for Unsupervised
Person Re-Id [109.1730454118532]
非監督的人物再識別(Re-Id)は、リードワールドビデオ監視システムにおける実践的応用により注目されている。
本稿では,ハイブリッド動的クラスタコントラストと確率蒸留アルゴリズムを提案する。
教師なしRe-Id問題を局所-言語的ダイナミックコントラスト学習と自己教師付き確率蒸留の枠組みに統合する。
論文 参考訳(メタデータ) (2021-09-29T02:56:45Z) - Byzantine-Robust Federated Learning via Credibility Assessment on
Non-IID Data [1.4146420810689422]
フェデレートラーニング(Federated Learning)は、リソース制約のあるエッジデバイスがモデルの共同学習を可能にする、新しいフレームワークである。
標準的な連邦学習はビザンツの攻撃に弱い。
非イドデータに対する信頼度評価によるフェデレーション学習のためのビザンチン・ロバストフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-06T12:18:02Z) - Learning from History for Byzantine Robust Optimization [52.68913869776858]
分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。
既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
論文 参考訳(メタデータ) (2020-12-18T16:22:32Z) - Free-rider Attacks on Model Aggregation in Federated Learning [10.312968200748116]
本稿では,反復パラメータアグリゲーションに基づくフェデレーション学習スキームに対するフリーライダー攻撃の理論的および実験的解析について紹介する。
我々は、これらの攻撃が公正な参加者の集約されたモデルに収束することを正式に保証する。
我々は,フェデレートラーニングの現実的応用において,フリーライダー攻撃を避けるための勧告を提供することで結論付けた。
論文 参考訳(メタデータ) (2020-06-21T20:20:38Z) - Byzantine-resilient Decentralized Stochastic Gradient Descent [85.15773446094576]
分散学習システムのビザンチンレジリエンスに関する詳細な研究について述べる。
ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。
論文 参考訳(メタデータ) (2020-02-20T05:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。