論文の概要: Towards Class-Oriented Poisoning Attacks Against Neural Networks
- arxiv url: http://arxiv.org/abs/2008.00047v2
- Date: Mon, 11 Oct 2021 19:51:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 06:22:05.556262
- Title: Towards Class-Oriented Poisoning Attacks Against Neural Networks
- Title（参考訳）: ニューラルネットワークに対するクラス指向ポジショニング攻撃に向けて
- Authors: Bingyin Zhao, Yingjie Lao
- Abstract要約: 機械学習システムに対する攻撃は、トレーニングデータセットに悪意のあるサンプルを意図的に注入することで、モデルのパフォーマンスを損なう。
そこで本研究では, 破損したモデルに対して, 2つの特定の予測を強制的に行うクラス指向中毒攻撃を提案する。
逆効果の最大化と、有毒なデータ生成の計算複雑性の低減を図るため、勾配に基づくフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 1.14219428942199
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Poisoning attacks on machine learning systems compromise the model
performance by deliberately injecting malicious samples in the training dataset
to influence the training process. Prior works focus on either availability
attacks (i.e., lowering the overall model accuracy) or integrity attacks (i.e.,
enabling specific instance-based backdoor). In this paper, we advance the
adversarial objectives of the availability attacks to a per-class basis, which
we refer to as class-oriented poisoning attacks. We demonstrate that the
proposed attack is capable of forcing the corrupted model to predict in two
specific ways: (i) classify unseen new images to a targeted "supplanter" class,
and (ii) misclassify images from a "victim" class while maintaining the
classification accuracy on other non-victim classes. To maximize the
adversarial effect as well as reduce the computational complexity of poisoned
data generation, we propose a gradient-based framework that crafts poisoning
images with carefully manipulated feature information for each scenario. Using
newly defined metrics at the class level, we demonstrate the effectiveness of
the proposed class-oriented poisoning attacks on various models (e.g., LeNet-5,
Vgg-9, and ResNet-50) over a wide range of datasets (e.g., MNIST, CIFAR-10, and
ImageNet-ILSVRC2012) in an end-to-end training setting.
- Abstract（参考訳）: 機械学習システムに対する毒殺攻撃は、トレーニングデータセットに悪意のあるサンプルを意図的に注入してトレーニングプロセスに影響を与えることで、モデルのパフォーマンスを損なう。
以前の作業では、アベイラビリティーアタック(モデル全体の精度を低下させる)か、整合性アタック(特定のインスタンスベースのバックドアを有効にする)に重点を置いていた。
本稿では,アベイラビリティアタックの敵対的目的をクラス単位に前進させ,これをクラス指向の中毒攻撃と呼ぶ。
我々は,提案された攻撃が,腐敗したモデルに2つの方法で予測を強制できることを実証する。
(i)未確認の新画像を対象の「代替」クラスに分類し、
(ii)他の非victimクラスの分類精度を維持しながら、"victim"クラスから画像を誤分類する。
敵意効果を最大化するとともに,中毒データ生成の計算複雑性を低減し,各シナリオに対して慎重に操作された特徴情報を用いて中毒画像を作成するグラデーションベースのフレームワークを提案する。
クラスレベルで新たに定義されたメトリクスを用いて,多様なデータセット(mnist,cifar-10,imagenet-ilsvrc2012など)における,さまざまなモデル(lenet-5,vgg-9,resnet-50など)に対するクラス指向の毒殺攻撃の有効性を,エンドツーエンドのトレーニング環境で実証する。
関連論文リスト
- FreqFed: A Frequency Analysis-Based Approach for Mitigating Poisoning
Attacks in Federated Learning [98.43475653490219]
フェデレート・ラーニング(Federated Learning, FL)は、毒素による攻撃を受けやすい。
FreqFedは、モデルの更新を周波数領域に変換する新しいアグリゲーションメカニズムである。
FreqFedは, 凝集モデルの有用性に悪影響を及ぼすことなく, 毒性攻撃を効果的に軽減できることを実証した。
論文 参考訳（メタデータ） (2023-12-07T16:56:24Z) - On the Exploitability of Instruction Tuning [103.8077787502381]
そこで本研究では,モデルの動作を変えるための命令チューニングを,相手がどのように活用できるかを検討する。
自動データ中毒パイプラインである textitAutoPoison を提案する。
結果から、AutoPoisonは、少数のデータだけを中毒することで、敵がモデルの振る舞いを変えることを可能にする。
論文 参考訳（メタデータ） (2023-06-28T17:54:04Z) - Can Adversarial Examples Be Parsed to Reveal Victim Model Information? [62.814751479749695]
本研究では,データ固有の敵インスタンスから,データに依存しない被害者モデル(VM)情報を推測できるかどうかを問う。
我々は,135件の被害者モデルから生成された7種類の攻撃に対して,敵攻撃のデータセットを収集する。
単純な教師付きモデル解析ネットワーク(MPN)は、見えない敵攻撃からVM属性を推測できることを示す。
論文 参考訳（メタデータ） (2023-03-13T21:21:49Z) - Hidden Poison: Machine Unlearning Enables Camouflaged Poisoning Attacks [22.742818282850305]
Camouflaged data poisoning attackは、モデルの再トレーニングが誘発される場合に発生する。
特に、CIFAR-10、Imagenette、Imagewoofなどのデータセットに対するクリーンラベルターゲット攻撃について検討する。
この攻撃は、有毒なデータセットの効果を隠蔽するカモフラージュデータポイントを構築することで実現される。
論文 参考訳（メタデータ） (2022-12-21T01:52:17Z) - Detection and Mitigation of Byzantine Attacks in Distributed Training [24.951227624475443]
ワーカノードの異常なビザンチン挙動は、トレーニングを脱線させ、推論の品質を損なう可能性がある。
最近の研究は、幅広い攻撃モデルを検討し、歪んだ勾配を補正するために頑健な集約と/または計算冗長性を探究している。
本研究では、強力な攻撃モデルについて検討する:$q$ omniscient adversaries with full knowledge of the defense protocol that can change from iteration to iteration to weak one: $q$ randomly selected adversaries with limited collusion abilities。
論文 参考訳（メタデータ） (2022-08-17T05:49:52Z) - Learning from Attacks: Attacking Variational Autoencoder for Improving
Image Classification [17.881134865491063]
敵対的攻撃はディープニューラルネットワーク(DNN)の堅牢性に対する脅威と見なされることが多い。
この研究は、異なる視点から敵の攻撃を分析する。つまり、敵の例は、予測に有用な暗黙の情報を含んでいる。
データ自己表現とタスク固有の予測にDNNの利点を利用するアルゴリズムフレームワークを提案する。
論文 参考訳（メタデータ） (2022-03-11T08:48:26Z) - Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。
我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。
実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
論文 参考訳（メタデータ） (2021-03-06T05:50:29Z) - How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。
本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。
我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
論文 参考訳（メタデータ） (2020-12-02T15:30:21Z) - Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [56.280018325419896]
Data Poisoning攻撃は、トレーニングデータを変更して、そのようなデータでトレーニングされたモデルを悪意を持って制御する。
我々は「スクラッチから」と「クリーンラベルから」の両方である特に悪意のある毒物攻撃を分析します。
フルサイズで有毒なImageNetデータセットをスクラッチからトレーニングした現代のディープネットワークにおいて、ターゲットの誤分類を引き起こすのは、これが初めてであることを示す。
論文 参考訳（メタデータ） (2020-09-04T16:17:54Z) - Leveraging Siamese Networks for One-Shot Intrusion Detection Model [0.0]
侵入検知システムを強化するための機械学習(ML)が重要な研究対象となっている。
モデルの再トレーニングは、十分な量のデータを取得するのに必要なタイムウインドウのために、ネットワークが攻撃を受けやすいようにする。
ここでは、「ワンショットラーニング」と呼ばれる補完的なアプローチで、新しい攻撃クラスを識別するために、新しい攻撃クラスの限られた例を用いる。
Siamese Networkは、機能ではなく、ペアの類似性に基づいてクラスを区別するように訓練されており、新しい、以前は目に見えない攻撃を識別することができる。
論文 参考訳（メタデータ） (2020-06-27T11:40:01Z) - Poisoning Attacks on Algorithmic Fairness [14.213638219685656]
本稿では,アルゴリズムの公正性に対する攻撃を害する最適化フレームワークを提案する。
我々は,データ中の異なるグループ間の分類格差の導入を目的とした,勾配に基づく中毒攻撃を開発した。
我々の発見は、異なるシナリオにおけるアルゴリズムフェアネスをターゲットとした、全く新しい敵攻撃セットの定義への道を開いたと信じている。
論文 参考訳（メタデータ） (2020-04-15T08:07:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。