論文の概要: Adversarial Poisoning Attacks and Defense for General Multi-Class Models
Based On Synthetic Reduced Nearest Neighbors
- arxiv url: http://arxiv.org/abs/2102.05867v1
- Date: Thu, 11 Feb 2021 06:55:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-12 17:17:15.137926
- Title: Adversarial Poisoning Attacks and Defense for General Multi-Class Models
Based On Synthetic Reduced Nearest Neighbors
- Title（参考訳）: 近接近傍の合成還元に基づく多階級モデルに対する敵対的ポゾニング攻撃と防御
- Authors: Pooya Tavallali, Vahid Behzadan, Peyman Tavallali, Mukesh Singhal
- Abstract要約: 最先端の機械学習モデルは、データ中毒攻撃に弱い。
本論文では,データのマルチモダリティに基づく新しいモデルフリーラベルフリップ攻撃を提案する。
第二に、SRNN(Synthetic reduced Nearest Neighbor)モデルに基づく新しい防御技術を提案する。
- 参考スコア（独自算出の注目度）: 14.968442560499753
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: State-of-the-art machine learning models are vulnerable to data poisoning
attacks whose purpose is to undermine the integrity of the model. However, the
current literature on data poisoning attacks is mainly focused on ad hoc
techniques that are only applicable to specific machine learning models.
Additionally, the existing data poisoning attacks in the literature are limited
to either binary classifiers or to gradient-based algorithms. To address these
limitations, this paper first proposes a novel model-free label-flipping attack
based on the multi-modality of the data, in which the adversary targets the
clusters of classes while constrained by a label-flipping budget. The
complexity of our proposed attack algorithm is linear in time over the size of
the dataset. Also, the proposed attack can increase the error up to two times
for the same attack budget. Second, a novel defense technique based on the
Synthetic Reduced Nearest Neighbor (SRNN) model is proposed. The defense
technique can detect and exclude flipped samples on the fly during the training
procedure. Through extensive experimental analysis, we demonstrate that (i) the
proposed attack technique can deteriorate the accuracy of several models
drastically, and (ii) under the proposed attack, the proposed defense technique
significantly outperforms other conventional machine learning models in
recovering the accuracy of the targeted model.
- Abstract（参考訳）: 最先端の機械学習モデルは、モデルの完全性を損なうことを目的としたデータ中毒攻撃に対して脆弱です。
しかし、データ中毒攻撃に関する現在の文献は、主に特定の機械学習モデルにのみ適用されるアドホックな技術に焦点を当てている。
さらに、文献にある既存のデータ中毒攻撃はバイナリ分類器か勾配に基づくアルゴリズムに限られている。
これらの制限に対処するため,本論文ではまず,ラベルフリッピングの予算に拘束されたまま,競合者がクラスのクラスタをターゲットとする,データのマルチモダリティに基づく新しいモデルフリーラベルフリッピング攻撃を提案する。
提案する攻撃アルゴリズムの複雑さはデータセットのサイズよりも時間的に線形である。
また、提案された攻撃は、同じ攻撃予算で2回までエラーを増加させることができる。
第二に、SRNN(Synthetic reduced Nearest Neighbor)モデルに基づく新しい防御技術を提案する。
防御技術は、トレーニング手順中にフライでフリップサンプルを検出して除外することができます。
広範囲な実験分析により, (i) 提案手法が複数のモデルの精度を劇的に低下させることを示すとともに, (ii) 提案手法は, 対象モデルの精度を回復する上で, 従来の機械学習モデルよりも有意に優れていることを示す。
関連論文リスト
- FreqFed: A Frequency Analysis-Based Approach for Mitigating Poisoning
Attacks in Federated Learning [98.43475653490219]
フェデレート・ラーニング(Federated Learning, FL)は、毒素による攻撃を受けやすい。
FreqFedは、モデルの更新を周波数領域に変換する新しいアグリゲーションメカニズムである。
FreqFedは, 凝集モデルの有用性に悪影響を及ぼすことなく, 毒性攻撃を効果的に軽減できることを実証した。
論文 参考訳（メタデータ） (2023-12-07T16:56:24Z) - Defense Against Model Extraction Attacks on Recommender Systems [53.127820987326295]
本稿では、モデル抽出攻撃に対するリコメンデータシステムに対する防御のために、グラディエントベースのランキング最適化(GRO)を導入する。
GROは、攻撃者の代理モデルの損失を最大化しながら、保護対象モデルの損失を最小限にすることを目的としている。
その結果,モデル抽出攻撃に対するGROの防御効果は良好であった。
論文 参考訳（メタデータ） (2023-10-25T03:30:42Z) - OMG-ATTACK: Self-Supervised On-Manifold Generation of Transferable
Evasion Attacks [17.584752814352502]
Evasion Attacks (EA) は、入力データを歪ませることで、トレーニングされたニューラルネットワークの堅牢性をテストするために使用される。
本稿では, 自己教師型, 計算的経済的な手法を用いて, 対逆例を生成する手法を提案する。
我々の実験は、この手法が様々なモデル、目に見えないデータカテゴリ、さらには防御されたモデルで有効であることを一貫して実証している。
論文 参考訳（メタデータ） (2023-10-05T17:34:47Z) - Isolation and Induction: Training Robust Deep Neural Networks against
Model Stealing Attacks [51.51023951695014]
既存のモデル盗難防衛は、被害者の後部確率に偽りの摂動を加え、攻撃者を誤解させる。
本稿では,モデルステルス防衛のための新規かつ効果的なトレーニングフレームワークである分離誘導(InI)を提案する。
モデルの精度を損なうモデル予測に摂動を加えるのとは対照的に、我々はモデルを訓練して、盗むクエリに対して非形式的なアウトプットを生成する。
論文 参考訳（メタデータ） (2023-08-02T05:54:01Z) - Boosting Model Inversion Attacks with Adversarial Examples [26.904051413441316]
ブラックボックス設定において、より高い攻撃精度を達成できる学習ベースモデル反転攻撃のための新しい訓練パラダイムを提案する。
まず,攻撃モデルの学習過程を,意味的損失関数を追加して規則化する。
第2に、学習データに逆例を注入し、クラス関連部の多様性を高める。
論文 参考訳（メタデータ） (2023-06-24T13:40:58Z) - SparseFed: Mitigating Model Poisoning Attacks in Federated Learning with
Sparsification [24.053704318868043]
モデル中毒攻撃では、攻撃者は"poisoned"アップデートをアップロードすることで、ターゲットのサブタスクのパフォーマンスを低下させる。
本稿では,グローバルなトップk更新スペーシフィケーションとデバイスレベルのクリッピング勾配を利用して,モデル中毒攻撃を緩和する新しいディフェンスであるalgonameを紹介する。
論文 参考訳（メタデータ） (2021-12-12T16:34:52Z) - Target Model Agnostic Adversarial Attacks with Query Budgets on Language
Understanding Models [14.738950386902518]
攻撃対象モデルに対して高い攻撃伝達性を有する目標モデル逆攻撃法を提案する。
実験により,本手法は,限られたクエリ予算の制約の下で,高度に伝達可能な文を生成することを示す。
論文 参考訳（メタデータ） (2021-06-13T17:18:19Z) - How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。
本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。
我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
論文 参考訳（メタデータ） (2020-12-02T15:30:21Z) - Learning to Attack: Towards Textual Adversarial Attacking in Real-world
Situations [81.82518920087175]
敵攻撃は、敵の例でディープニューラルネットワークを騙すことを目的としている。
本稿では、攻撃履歴から学習し、より効率的に攻撃を開始することができる強化学習に基づく攻撃モデルを提案する。
論文 参考訳（メタデータ） (2020-09-19T09:12:24Z) - Boosting Black-Box Attack with Partially Transferred Conditional
Adversarial Distribution [83.02632136860976]
深層ニューラルネットワーク(DNN)に対するブラックボックス攻撃の研究
我々は, 代理バイアスに対して頑健な, 対向移動可能性の新たなメカニズムを開発する。
ベンチマークデータセットの実験と実世界のAPIに対する攻撃は、提案手法の優れた攻撃性能を示す。
論文 参考訳（メタデータ） (2020-06-15T16:45:27Z) - Poisoning Attacks on Algorithmic Fairness [14.213638219685656]
本稿では,アルゴリズムの公正性に対する攻撃を害する最適化フレームワークを提案する。
我々は,データ中の異なるグループ間の分類格差の導入を目的とした,勾配に基づく中毒攻撃を開発した。
我々の発見は、異なるシナリオにおけるアルゴリズムフェアネスをターゲットとした、全く新しい敵攻撃セットの定義への道を開いたと信じている。
論文 参考訳（メタデータ） (2020-04-15T08:07:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。