論文の概要: Attacking Byzantine Robust Aggregation in High Dimensions
- arxiv url: http://arxiv.org/abs/2312.14461v2
- Date: Fri, 19 Apr 2024 07:58:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 19:47:30.130715
- Title: Attacking Byzantine Robust Aggregation in High Dimensions
- Title(参考訳): ビザンチン系ロバスト集団の高次元攻撃
- Authors: Sarthak Choudhary, Aashish Kolluri, Prateek Saxena,
- Abstract要約: 現代のニューラルネットワークやモデルを訓練するには、通常、高次元ベクトルのサンプルを平均化する必要がある。
ポジショニング攻撃は、モデルをトレーニングするのに使われる平均ベクトルを歪ませたりバイアスしたりし、モデルを特定のパターンを学習させたり、何か役に立つものを学ぶのを防いだりする。
我々は,HIDRAと呼ばれる新たな攻撃が,次元非依存バイアスの主張を覆す強力な防御の実現に有効であることを示す。
- 参考スコア(独自算出の注目度): 13.932039723114299
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training modern neural networks or models typically requires averaging over a sample of high-dimensional vectors. Poisoning attacks can skew or bias the average vectors used to train the model, forcing the model to learn specific patterns or avoid learning anything useful. Byzantine robust aggregation is a principled algorithmic defense against such biasing. Robust aggregators can bound the maximum bias in computing centrality statistics, such as mean, even when some fraction of inputs are arbitrarily corrupted. Designing such aggregators is challenging when dealing with high dimensions. However, the first polynomial-time algorithms with strong theoretical bounds on the bias have recently been proposed. Their bounds are independent of the number of dimensions, promising a conceptual limit on the power of poisoning attacks in their ongoing arms race against defenses. In this paper, we show a new attack called HIDRA on practical realization of strong defenses which subverts their claim of dimension-independent bias. HIDRA highlights a novel computational bottleneck that has not been a concern of prior information-theoretic analysis. Our experimental evaluation shows that our attacks almost completely destroy the model performance, whereas existing attacks with the same goal fail to have much effect. Our findings leave the arms race between poisoning attacks and provable defenses wide open.
- Abstract(参考訳): 現代のニューラルネットワークやモデルを訓練するには、通常、高次元ベクトルのサンプルを平均化する必要がある。
ポジショニング攻撃は、モデルをトレーニングするのに使われる平均ベクトルを歪ませたりバイアスしたりし、モデルを特定のパターンを学習させたり、何か役に立つものを学ぶのを防いだりする。
ビザンティン・ロバスト・アグリゲーションは、そのような偏見に対するアルゴリズムの原則的な防御である。
ロバストアグリゲータは、入力の一部が任意に破損しても、平均のような計算中心性統計学における最大バイアスを拘束することができる。
このようなアグリゲータの設計は、高次元を扱う際には困難である。
しかし、このバイアスに強い理論的境界を持つ最初の多項式時間アルゴリズムが最近提案されている。
彼らの境界線は数次元とは無関係であり、防衛戦における毒殺の威力に対する概念的な制限を約束している。
本稿では,次元非依存バイアスの主張を覆す強力な防御の実現に向けたHIDRAと呼ばれる新たな攻撃を示す。
HIDRAは、それまでの情報理論分析には関心がなかった、新しい計算ボトルネックを強調している。
実験により、我々の攻撃はモデルの性能をほぼ完全に破壊するが、同じ目標を持つ既存の攻撃は大きな効果が得られないことが示された。
我々の発見は、毒殺と証明可能な防御の間の武器競争を広範囲に開放したままにしている。
関連論文リスト
- Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks [62.036798488144306]
現在の防衛は主に既知の攻撃に焦点を当てているが、未知の攻撃に対する敵意の強固さは見過ごされている。
メタ不変防衛(Meta Invariance Defense, MID)と呼ばれる攻撃非依存の防御手法を提案する。
MIDは高レベルの画像分類と低レベルの頑健な画像再生における攻撃抑制において,知覚不能な逆方向の摂動に対して同時に頑健性を実現する。
論文 参考訳(メタデータ) (2024-04-04T10:10:38Z) - Wasserstein distributional robustness of neural networks [9.79503506460041]
ディープニューラルネットワークは敵攻撃(AA)に弱いことが知られている
画像認識タスクでは、元の小さな摂動によって画像が誤分類される可能性がある。
本稿では,Wassersteinの分散ロバスト最適化(DRO)技術を用いて問題を再検討し,新しいコントリビューションを得た。
論文 参考訳(メタデータ) (2023-06-16T13:41:24Z) - Understanding the Vulnerability of Skeleton-based Human Activity Recognition via Black-box Attack [53.032801921915436]
HAR(Human Activity Recognition)は、自動運転車など、幅広い用途に採用されている。
近年,敵対的攻撃に対する脆弱性から,骨格型HAR法の堅牢性に疑問が呈されている。
攻撃者がモデルの入出力しかアクセスできない場合でも、そのような脅威が存在することを示す。
BASARと呼ばれる骨格をベースとしたHARにおいて,最初のブラックボックス攻撃手法を提案する。
論文 参考訳(メタデータ) (2022-11-21T09:51:28Z) - Detection and Mitigation of Byzantine Attacks in Distributed Training [24.951227624475443]
ワーカノードの異常なビザンチン挙動は、トレーニングを脱線させ、推論の品質を損なう可能性がある。
最近の研究は、幅広い攻撃モデルを検討し、歪んだ勾配を補正するために頑健な集約と/または計算冗長性を探究している。
本研究では、強力な攻撃モデルについて検討する:$q$ omniscient adversaries with full knowledge of the defense protocol that can change from iteration to iteration to weak one: $q$ randomly selected adversaries with limited collusion abilities。
論文 参考訳(メタデータ) (2022-08-17T05:49:52Z) - Defending against the Label-flipping Attack in Federated Learning [5.769445676575767]
フェデレーテッド・ラーニング(FL)は、参加する仲間にデザインによる自律性とプライバシを提供する。
ラベルフリッピング(LF)攻撃(英: label-flipping, LF)は、攻撃者がラベルをめくってトレーニングデータに毒を盛る攻撃である。
本稿では、まず、ピアのローカル更新からこれらの勾配を動的に抽出する新しいディフェンスを提案する。
論文 参考訳(メタデータ) (2022-07-05T12:02:54Z) - Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。
任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。
本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
論文 参考訳(メタデータ) (2021-05-31T17:01:05Z) - Towards Adversarial Patch Analysis and Certified Defense against Crowd
Counting [61.99564267735242]
安全クリティカルな監視システムの重要性から、群衆のカウントは多くの注目を集めています。
近年の研究では、ディープニューラルネットワーク(DNN)の手法が敵の攻撃に弱いことが示されている。
群衆カウントモデルのロバスト性を評価するために,Momentumを用いた攻撃戦略としてAdversarial Patch Attackを提案する。
論文 参考訳(メタデータ) (2021-04-22T05:10:55Z) - Adversarial Poisoning Attacks and Defense for General Multi-Class Models
Based On Synthetic Reduced Nearest Neighbors [14.968442560499753]
最先端の機械学習モデルは、データ中毒攻撃に弱い。
本論文では,データのマルチモダリティに基づく新しいモデルフリーラベルフリップ攻撃を提案する。
第二に、SRNN(Synthetic reduced Nearest Neighbor)モデルに基づく新しい防御技術を提案する。
論文 参考訳(メタデータ) (2021-02-11T06:55:40Z) - Adversarial Example Games [51.92698856933169]
Adrial Example Games (AEG) は、敵の例の製作をモデル化するフレームワークである。
AEGは、ある仮説クラスからジェネレータとアバーサを反対に訓練することで、敵の例を設計する新しい方法を提供する。
MNIST と CIFAR-10 データセットに対する AEG の有効性を示す。
論文 参考訳(メタデータ) (2020-07-01T19:47:23Z) - Perceptual Adversarial Robustness: Defense Against Unseen Threat Models [58.47179090632039]
敵対的堅牢性の鍵となる課題は、人間の知覚を正確に数学的に特徴づけることの欠如である。
ニューラル・パーセプチュアル・脅威モデルの下で、我々は新しいパーセプチュアル・アタックとディフェンスを開発する。
NPTMは非常に広範であるため、知覚的攻撃に対する知覚的適応訓練(PAT)は、他の多くの種類の敵対的攻撃に対して堅牢性を与える。
論文 参考訳(メタデータ) (2020-06-22T22:40:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。