論文の概要: FedSECA: Sign Election and Coordinate-wise Aggregation of Gradients for Byzantine Tolerant Federated Learning
- arxiv url: http://arxiv.org/abs/2411.03861v2
- Date: Tue, 08 Apr 2025 21:19:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-10 13:04:20.456648
- Title: FedSECA: Sign Election and Coordinate-wise Aggregation of Gradients for Byzantine Tolerant Federated Learning
- Title(参考訳): FedSECA: ビザンチン寛容なフェデレーション学習のためのグラディエントの署名とコーディネート・アグリゲーション
- Authors: Joseph Geo Benjamin, Mothilal Asokan, Mohammad Yaqub, Karthik Nandakumar,
- Abstract要約: 連邦学習(FL)におけるビザンツのクライアントに対する最も一般的な防衛戦略の1つは、堅牢な集約機構を使用することである。
本稿では,FedSECA と呼ばれる FL の強靭な符号選択と勾配のコーディネート・ワイズ・アグリゲーションのための手法を提案する。
提案したFedSECA手法を,ビザンツの7つのデータセットとアーキテクチャを攻撃した10のロバストアグリゲータと比較した。
- 参考スコア(独自算出の注目度): 5.011091042850546
- License:
- Abstract: One of the most common defense strategies against Byzantine clients in federated learning (FL) is to employ a robust aggregator mechanism that makes the training more resilient. While many existing Byzantine robust aggregators provide theoretical convergence guarantees and are empirically effective against certain categories of attacks, we observe that certain high-strength attacks can subvert the robust aggregator and collapse the training. To overcome this limitation, we propose a method called FedSECA for robust Sign Election and Coordinate-wise Aggregation of gradients in FL that is less susceptible to malicious updates by an omniscient attacker. The proposed method has two main components. The Concordance Ratio Induced Sign Election(CRISE) module determines the consensus direction (elected sign) for each individual parameter gradient through a weighted voting strategy. The client weights are assigned based on a novel metric called concordance ratio, which quantifies the degree of sign agreement between the client gradient updates. Based on the elected sign, a Robust Coordinate-wise Aggregation(RoCA) strategy is employed, where variance-reduced sparse gradients are aggregated only if they are in alignment with the corresponding elected sign. We compare our proposed FedSECA method against 10 robust aggregators under 7 Byzantine attacks on 3 datasets and architectures. The results show that existing robust aggregators fail for at least some attacks, while FedSECA exhibits better robustness. Code - https://github.com/JosephGeoBenjamin/FedSECA-ByzantineTolerance
- Abstract(参考訳): 連邦学習(FL)におけるビザンツのクライアントに対する最も一般的な防衛戦略の1つは、トレーニングをよりレジリエンスにするための堅牢なアグリゲータメカニズムを使用することである。
多くの既存のビザンツのロバスト・アグリゲーターは理論的収束保証を提供し、特定の攻撃カテゴリに対して実験的に有効であるが、特定の高強度アグリゲーターがロバスト・アグリゲーターを倒し、訓練を崩壊させることができることを観察する。
この制限を克服するために,FedSECAと呼ばれる手法を提案する。
提案手法は2つの主成分を有する。
Concordance Ratio induced Sign Election(CRISE)モジュールは、重み付き投票戦略により、各パラメータの勾配に対するコンセンサス方向(選択された符号)を決定する。
クライアントウェイトは、クライアント勾配更新間の符号一致の度合いを定量化するConcordance ratioと呼ばれる新しいメトリックに基づいて割り当てられる。
選択された符号に基づいて、ロバスト座標ワイド・アグリゲーション(RoCA)戦略が採用され、分散還元されたスパース勾配は、対応する選択された符号と一致している場合にのみ集約される。
提案したFedSECA手法を,ビザンツの7つのデータセットとアーキテクチャを攻撃した10のロバストアグリゲータと比較した。
その結果、既存のロバストアグリゲーターは少なくともいくつかの攻撃で失敗し、FedSECAはより良いロバスト性を示した。
コード - https://github.com/JosephGeoBenjamin/FedSECA-Byzantine Tolerance
関連論文リスト
- Mean Aggregator is More Robust than Robust Aggregators under Label Poisoning Attacks on Distributed Heterogeneous Data [39.982626513585494]
我々は、ロバストなアグリゲーターは、ラベル中毒攻撃として知られる、弱いが実用的な悪意のある攻撃のクラスには保守的すぎることを示した。
驚くべきことに、平均アグリゲータは理論上の最先端のロバストアグリゲータよりも堅牢であることを示すことができる。
論文 参考訳(メタデータ) (2024-04-21T12:49:12Z) - FedRDF: A Robust and Dynamic Aggregation Function against Poisoning
Attacks in Federated Learning [0.0]
Federated Learning(FL)は、集中型機械学習(ML)デプロイメントに関連する典型的なプライバシ問題に対する、有望なアプローチである。
そのよく知られた利点にもかかわらず、FLはビザンツの行動や毒殺攻撃のようなセキュリティ攻撃に弱い。
提案手法は各種モデル毒殺攻撃に対して試験され,最先端の凝集法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2024-02-15T16:42:04Z) - DiffAttack: Evasion Attacks Against Diffusion-Based Adversarial
Purification [63.65630243675792]
拡散に基づく浄化防御は拡散モデルを利用して、敵の例の人工摂動を除去する。
近年の研究では、先進的な攻撃でさえ、そのような防御を効果的に破壊できないことが示されている。
拡散型浄化防衛を効果的かつ効率的に行うための統合フレームワークDiffAttackを提案する。
論文 参考訳(メタデータ) (2023-10-27T15:17:50Z) - FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated
Learning [66.56240101249803]
我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。
本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。
競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
論文 参考訳(メタデータ) (2022-10-23T22:24:03Z) - Detection and Mitigation of Byzantine Attacks in Distributed Training [24.951227624475443]
ワーカノードの異常なビザンチン挙動は、トレーニングを脱線させ、推論の品質を損なう可能性がある。
最近の研究は、幅広い攻撃モデルを検討し、歪んだ勾配を補正するために頑健な集約と/または計算冗長性を探究している。
本研究では、強力な攻撃モデルについて検討する:$q$ omniscient adversaries with full knowledge of the defense protocol that can change from iteration to iteration to weak one: $q$ randomly selected adversaries with limited collusion abilities。
論文 参考訳(メタデータ) (2022-08-17T05:49:52Z) - Enhancing Privacy against Inversion Attacks in Federated Learning by
using Mixing Gradients Strategies [0.31498833540989407]
フェデレーション学習は情報漏洩のリスクを低減するが、攻撃に対して脆弱である。
いくつかのニューラルネットワーク設計決定が、勾配逆攻撃に対してどのように防御できるかを示す。
これらの戦略は、画像認識のためのLeNETのような深層畳み込みニューラルネットワークにも有用である。
論文 参考訳(メタデータ) (2022-04-26T12:08:28Z) - Improved Certified Defenses against Data Poisoning with (Deterministic)
Finite Aggregation [122.83280749890078]
本報告では, 一般中毒に対する予防的対策として, フィニット・アグリゲーション(Finite Aggregation)を提案する。
トレーニングセットを直接非結合部分集合に分割するDPAとは対照的に、我々の方法はまず、トレーニングセットをより小さな非結合部分集合に分割する。
我々は、決定論的および集約的認証された防御設計をブリッジして、我々の方法の代替的な見解を提供する。
論文 参考訳(メタデータ) (2022-02-05T20:08:58Z) - Byzantine-robust Federated Learning through Collaborative Malicious
Gradient Filtering [32.904425716385575]
勾配ベクトルの要素ワイドサインは, モデル中毒攻撃の検出に有用であることを示す。
そこで本稿では,Byzantine-robust フェデレーション学習を有害な勾配フィルタリングによって実現するための textitSignGuard という新しい手法を提案する。
論文 参考訳(メタデータ) (2021-09-13T11:15:15Z) - Learning from History for Byzantine Robust Optimization [52.68913869776858]
分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。
既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
論文 参考訳(メタデータ) (2020-12-18T16:22:32Z) - Imbalanced Gradients: A Subtle Cause of Overestimated Adversarial
Robustness [75.30116479840619]
本稿では,不均衡勾配という,過度に推定された敵の強靭性も引き起こす,より微妙な状況を特定する。
不均衡勾配の現象は、マージン損失の一項の勾配が支配的となり、攻撃を準最適方向に押し上げるときに起こる。
本稿では、マージン分解攻撃(MD)について、個々の項にマージン損失を分解し、これらの項の攻撃可能性について個別に検討する。
論文 参考訳(メタデータ) (2020-06-24T13:41:37Z) - Federated Variance-Reduced Stochastic Gradient Descent with Robustness
to Byzantine Attacks [74.36161581953658]
本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。
このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。
本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
論文 参考訳(メタデータ) (2019-12-29T19:46:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。