論文の概要: On the Byzantine Fault Tolerance of signSGD with Majority Vote

• arxiv url: http://arxiv.org/abs/2502.19170v1
• Date: Wed, 26 Feb 2025 14:26:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:56:56.407403
• Title: On the Byzantine Fault Tolerance of signSGD with Majority Vote
• Title（参考訳）: 多数票を有する符号SGDのビザンチン断層寛容について
• Authors: Emanuele Mengoli, Luzius Moll, Virgilio Strozzi, El-Mahdi El-Mhamdi,
• Abstract要約: 多数決のSignSGDのような符号ベースの圧縮アルゴリズムは、SGDの軽量な代替手段を提供する。 我々は,シグナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズナズ
• 参考スコア（独自算出の注目度）: 2.1811692273423224
• License:
• Abstract: In distributed learning, sign-based compression algorithms such as signSGD with majority vote provide a lightweight alternative to SGD with an additional advantage: fault tolerance (almost) for free. However, for signSGD with majority vote, this fault tolerance has been shown to cover only the case of weaker adversaries, i.e., ones that are not omniscient or cannot collude to base their attack on common knowledge and strategy. In this work, we close this gap and provide new insights into how signSGD with majority vote can be resilient against omniscient and colluding adversaries, which craft an attack after communicating with other adversaries, thus having better information to perform the most damaging attack based on a common optimal strategy. Our core contribution is in providing a proof that begins by defining the omniscience framework and the strongest possible damage against signSGD with majority vote without imposing any restrictions on the attacker. Thanks to the filtering effect of the sign-based method, we upper-bound the space of attacks to the optimal strategy for maximizing damage by an attacker. Hence, we derive an explicit probabilistic bound in terms of incorrect aggregation without resorting to unknown constants, providing a convergence bound on signSGD with majority vote in the presence of Byzantine attackers, along with a precise convergence rate. Our findings are supported by experiments on the MNIST dataset in a distributed learning environment with adversaries of varying strength.
• Abstract（参考訳）: 分散学習において、多数決のSignSGDのような符号ベースの圧縮アルゴリズムは、SGDの軽量な代替手段として、さらなる利点がある:フォールトトレランス(ほぼ)を無償で提供する。 しかし、多数決のサインSGDでは、このフォールトトレランスは、より弱い敵、すなわち未熟でないか、共通の知識と戦略に基づく攻撃を強要できない場合のみをカバーすることが示されている。 本研究は,このギャップを埋めて,他の敵と通信した後に攻撃を行う全能的で衝突する敵に対して,SignSGDがいかに回復力を持ち得るか,共通の最適戦略に基づいて最も被害を被る攻撃を行うためのより良い情報を与える。 私たちのコアコントリビューションは、全科学フレームワークの定義から始まり、攻撃者に対する制限を課すことなく、多数決でSignSGDに対する最強のダメージを与える証拠を提供することにあります。 本手法のフィルタリング効果により,攻撃者による被害を最大化するための最適戦略に攻撃の空間を上限に設定する。 したがって、未知定数に頼らずに不正確な集約という観点で明らかな確率的境界を導出し、ビザンティン攻撃者の存在下で多数決されたSignSGD上の収束率と正確な収束率を与える。 本研究は, 分散学習環境におけるMNISTデータセットを用いた実験により, 各種の強みを持つ実験により支援された。

関連論文リスト

• FedRISE: Rating Induced Sign Election of Gradients for Byzantine Tolerant Federated Aggregation [5.011091042850546]
  We developed a robust aggregator called FedRISE for cross-silo FL。 3つのデータセットとアーキテクチャに対して6つの有害な攻撃を受ける8つのロバストアグリゲータと比較した。 以上の結果から,FedRISEは厳密な緩やかな包摂的包摂的定式化のため,少なくともいくつかの攻撃において,既存のロバストアグリゲータが崩壊することを示し,FedRISEはより堅牢性を示す。
  論文  参考訳（メタデータ） (2024-11-06T12:14:11Z)
• Distributional Adversarial Loss [15.258476329309044]
  敵の攻撃に対して防衛する上での大きな課題は、単純な敵さえも実行可能な攻撃の巨大な空間である。 これにはランダムな平滑化手法が含まれており、敵の影響を除去するために入力にノイズを加える。 もう一つのアプローチは入力の離散化であり、敵の可能なアクションの数を制限する。
  論文  参考訳（メタデータ） (2024-06-05T17:03:47Z)
• Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks [62.036798488144306]
  現在の防衛は主に既知の攻撃に焦点を当てているが、未知の攻撃に対する敵意の強固さは見過ごされている。 メタ不変防衛(Meta Invariance Defense, MID)と呼ばれる攻撃非依存の防御手法を提案する。 MIDは高レベルの画像分類と低レベルの頑健な画像再生における攻撃抑制において,知覚不能な逆方向の摂動に対して同時に頑健性を実現する。
  論文  参考訳（メタデータ） (2024-04-04T10:10:38Z)
• SignSGD with Federated Defense: Harnessing Adversarial Attacks through Gradient Sign Decoding [26.433639269480345]
  多数決のSignSGD(signSGD-MV)は、複数の労働者を用いたモデルトレーニングを加速するための単純かつ効果的なアプローチである。 対人労働者の増加に伴い収束率が不変であることを示し、対人労働者の数は対人労働者のそれよりも小さいことを仮定する。 従来のアプローチとは異なり、SignSGD-FDは適切な重みを持つ敵の労働者が送信する勾配情報を利用する。
  論文  参考訳（メタデータ） (2024-02-02T11:53:27Z)
• PRAT: PRofiling Adversarial aTtacks [52.693011665938734]
  PRofiling Adversarial aTacks (PRAT) の新たな問題点について紹介する。 敵対的な例として、PRATの目的は、それを生成するのに使用される攻撃を特定することである。 AIDを用いてPRATの目的のための新しいフレームワークを考案する。
  論文  参考訳（メタデータ） (2023-09-20T07:42:51Z)
• Strong Transferable Adversarial Attacks via Ensembled Asymptotically Normal Distribution Learning [24.10329164911317]
  多重漸近正規分布攻撃(MultiANDA)という手法を提案する。 我々は勾配上昇(SGA)の正規性を利用して摂動の後方分布を近似する。 提案手法は、防御の有無にかかわらず、ディープラーニングモデルに対する10の最先端のブラックボックス攻撃より優れる。
  論文  参考訳（メタデータ） (2022-09-24T08:57:10Z)
• SignSGD: Fault-Tolerance to Blind and Byzantine Adversaries [0.0]
  我々はSGDから派生したより堅牢なSignSGDアルゴリズムに焦点を当てる。 我々は、学習プロセスを潰そうとするビザンティン戦略とともにSignSGDを実装した。
  論文  参考訳（メタデータ） (2022-02-04T11:40:08Z)
• Discriminator-Free Generative Adversarial Attack [87.71852388383242]
  生成的ベースの敵攻撃は、この制限を取り除くことができる。 ASymmetric Saliency-based Auto-Encoder (SSAE) は摂動を生成する。 SSAEが生成した敵の例は、広く使われているモデルを崩壊させるだけでなく、優れた視覚的品質を実現する。
  論文  参考訳（メタデータ） (2021-07-20T01:55:21Z)
• Sparse and Imperceptible Adversarial Attack via a Homotopy Algorithm [93.80082636284922]
  少数の敵対的攻撃は、数ピクセルを摂動するだけでディープ・ネットワーク(DNN)を騙すことができる。 近年の取り組みは、他の等級のl_infty摂動と組み合わせている。 本稿では,空間的・神経的摂動に対処するホモトピーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-10T20:11:36Z)
• Learning from History for Byzantine Robust Optimization [52.68913869776858]
  分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。 既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
  論文  参考訳（メタデータ） (2020-12-18T16:22:32Z)
• A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
  敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。 本稿では,入力空間における自己教師型対向学習機構を提案する。 これは、反逆攻撃に対する強力な堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-06-08T20:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。