論文の概要: ByzShield: An Efficient and Robust System for Distributed Training
- arxiv url: http://arxiv.org/abs/2010.04902v2
- Date: Thu, 4 Mar 2021 05:12:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 23:36:47.671031
- Title: ByzShield: An Efficient and Robust System for Distributed Training
- Title（参考訳）: ByzShield: 分散トレーニングのための効率的でロバストなシステム
- Authors: Konstantinos Konstantinidis, Aditya Ramamoorthy
- Abstract要約: 本研究では、敵が労働者の勾配の割り当てについて十分な知識を持つような全知的な攻撃モデルについて考察する。
冗長性に基づくByzShield法は,作業者へのタスクの割り当てにバイパートイト展開グラフの特性を利用する。
CIFAR-10データセットで画像分類を行った結果,ByzShieldの精度は20%向上した。
- 参考スコア（独自算出の注目度）: 12.741811850885309
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training of large scale models on distributed clusters is a critical
component of the machine learning pipeline. However, this training can easily
be made to fail if some workers behave in an adversarial (Byzantine) fashion
whereby they return arbitrary results to the parameter server (PS). A plethora
of existing papers consider a variety of attack models and propose robust
aggregation and/or computational redundancy to alleviate the effects of these
attacks. In this work we consider an omniscient attack model where the
adversary has full knowledge about the gradient computation assignments of the
workers and can choose to attack (up to) any q out of K worker nodes to induce
maximal damage. Our redundancy-based method ByzShield leverages the properties
of bipartite expander graphs for the assignment of tasks to workers; this helps
to effectively mitigate the effect of the Byzantine behavior. Specifically, we
demonstrate an upper bound on the worst case fraction of corrupted gradients
based on the eigenvalues of our constructions which are based on mutually
orthogonal Latin squares and Ramanujan graphs. Our numerical experiments
indicate over a 36% reduction on average in the fraction of corrupted gradients
compared to the state of the art. Likewise, our experiments on training
followed by image classification on the CIFAR-10 dataset show that ByzShield
has on average a 20% advantage in accuracy under the most sophisticated
attacks. ByzShield also tolerates a much larger fraction of adversarial nodes
compared to prior work.
- Abstract（参考訳）: 分散クラスタ上での大規模モデルのトレーニングは、マシンラーニングパイプラインの重要なコンポーネントである。
しかし、一部の労働者が逆(ビザンチン)のやり方で振る舞うと、パラメータサーバ(ps)に任意の結果を返すので、このトレーニングは簡単に失敗する。
多くの既存論文が様々な攻撃モデルを検討し、これらの攻撃の影響を軽減するために堅牢な集約と/または計算冗長性を提案する。
本研究では, 作業者の勾配計算課題について, 敵が十分な知識を持っていて, 最大被害を誘発するために, K の作業ノードから q を攻撃(最大)できるような, 奇抜な攻撃モデルを考える。
冗長性に基づく手法である byzshield は作業者へのタスク割り当てに二部展開グラフの特性を利用する。
具体的には、直交するラテン正方形とラマヌジャングラフに基づく構成の固有値に基づいて、崩壊した勾配の最悪のケース分数について上界を示す。
数値実験により, 崩壊した勾配の分数の平均値が36%以上低下していることが判明した。
同様に、CIFAR-10データセット上の画像分類によるトレーニング実験では、ByzShieldは最も高度な攻撃下で平均20%の精度で精度を向上している。
ByzShieldはまた、以前の作業よりもはるかに多くの対向ノードを許容する。
関連論文リスト
- Indiscriminate Disruption of Conditional Inference on Multivariate Gaussians [60.22542847840578]
敵対的機械学習の進歩にもかかわらず、敵対者の存在下でのガウスモデルに対する推論は特に過小評価されている。
我々は,意思決定者の条件推論とその後の行動の妨害を希望する自己関心のある攻撃者について,一組の明らかな変数を乱すことで検討する。
検出を避けるため、攻撃者は、破損した証拠の密度によって可否が決定される場合に、攻撃が可否を示すことを望んでいる。
論文 参考訳（メタデータ） (2024-11-21T17:46:55Z) - ZeroPur: Succinct Training-Free Adversarial Purification [52.963392510839284]
敵の粛清は、様々な目に見えない敵の攻撃を防御できる防衛計算手法の一種である。
我々は、ZeroPurと呼ばれる、逆画像の浄化を更なる訓練なしに簡単な逆画像浄化法を提案する。
論文 参考訳（メタデータ） (2024-06-05T10:58:15Z) - Defense Against Model Extraction Attacks on Recommender Systems [53.127820987326295]
本稿では、モデル抽出攻撃に対するリコメンデータシステムに対する防御のために、グラディエントベースのランキング最適化(GRO)を導入する。
GROは、攻撃者の代理モデルの損失を最大化しながら、保護対象モデルの損失を最小限にすることを目的としている。
その結果,モデル抽出攻撃に対するGROの防御効果は良好であった。
論文 参考訳（メタデータ） (2023-10-25T03:30:42Z) - Isolation and Induction: Training Robust Deep Neural Networks against
Model Stealing Attacks [51.51023951695014]
既存のモデル盗難防衛は、被害者の後部確率に偽りの摂動を加え、攻撃者を誤解させる。
本稿では,モデルステルス防衛のための新規かつ効果的なトレーニングフレームワークである分離誘導(InI)を提案する。
モデルの精度を損なうモデル予測に摂動を加えるのとは対照的に、我々はモデルを訓練して、盗むクエリに対して非形式的なアウトプットを生成する。
論文 参考訳（メタデータ） (2023-08-02T05:54:01Z) - Robust Distributed Learning Against Both Distributional Shifts and
Byzantine Attacks [29.34471516011148]
分散学習システムでは、2つのソースから問題が発生する可能性がある。
一方、トレーニングデータとテストデータ間の分散シフトにより、モデルはサンプル外性能が劣る可能性がある。
一方、訓練されたノードの一部はビザンチン攻撃を受け、モデルが無効になる可能性がある。
論文 参考訳（メタデータ） (2022-10-29T20:08:07Z) - What Does the Gradient Tell When Attacking the Graph Structure [44.44204591087092]
本稿では,GNNのメッセージパッシング機構により,攻撃者がクラス間エッジを増大させる傾向があることを示す。
異なるノードを接続することで、攻撃者はより効果的にノード機能を破損させ、そのような攻撃をより有利にする。
本研究では,攻撃効率と非受容性のバランスを保ち,より優れた非受容性を実現するために攻撃効率を犠牲にする,革新的な攻撃損失を提案する。
論文 参考訳（メタデータ） (2022-08-26T15:45:20Z) - Detection and Mitigation of Byzantine Attacks in Distributed Training [24.951227624475443]
ワーカノードの異常なビザンチン挙動は、トレーニングを脱線させ、推論の品質を損なう可能性がある。
最近の研究は、幅広い攻撃モデルを検討し、歪んだ勾配を補正するために頑健な集約と/または計算冗長性を探究している。
本研究では、強力な攻撃モデルについて検討する:$q$ omniscient adversaries with full knowledge of the defense protocol that can change from iteration to iteration to weak one: $q$ randomly selected adversaries with limited collusion abilities。
論文 参考訳（メタデータ） (2022-08-17T05:49:52Z) - FL-Defender: Combating Targeted Attacks in Federated Learning [7.152674461313707]
フェデレートラーニング(FL)は、グローバル機械学習モデルを、参加する労働者のセット間で分散されたローカルデータから学習することを可能にする。
FLは、学習モデルの完全性に悪影響を及ぼす標的の毒殺攻撃に対して脆弱である。
FL標的攻撃に対抗する手段として,textitFL-Defenderを提案する。
論文 参考訳（メタデータ） (2022-07-02T16:04:46Z) - Aspis: A Robust Detection System for Distributed Learning [13.90938823562779]
機械学習システムは、いくつかのコンピューティングデバイスが異常(ビザンティン)な振る舞いを示すときに、妥協される。
提案手法は,サブセットベースの代入を用いて作業ノードに勾配計算を割り当てる。
我々は、弱強攻撃下でのビザンチンの弾力性とアスピスの検出の保証を証明し、様々な大規模訓練シナリオにおいてシステムを広範囲に評価する。
論文 参考訳（メタデータ） (2021-08-05T07:24:38Z) - Discriminator-Free Generative Adversarial Attack [87.71852388383242]
生成的ベースの敵攻撃は、この制限を取り除くことができる。
ASymmetric Saliency-based Auto-Encoder (SSAE) は摂動を生成する。
SSAEが生成した敵の例は、広く使われているモデルを崩壊させるだけでなく、優れた視覚的品質を実現する。
論文 参考訳（メタデータ） (2021-07-20T01:55:21Z) - Adversarial Example Games [51.92698856933169]
Adrial Example Games (AEG) は、敵の例の製作をモデル化するフレームワークである。
AEGは、ある仮説クラスからジェネレータとアバーサを反対に訓練することで、敵の例を設計する新しい方法を提供する。
MNIST と CIFAR-10 データセットに対する AEG の有効性を示す。
論文 参考訳（メタデータ） (2020-07-01T19:47:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。