論文の概要: MetaPoison: Practical General-purpose Clean-label Data Poisoning
- arxiv url: http://arxiv.org/abs/2004.00225v2
- Date: Sun, 21 Feb 2021 02:40:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-17 17:44:19.806035
- Title: MetaPoison: Practical General-purpose Clean-label Data Poisoning
- Title(参考訳): MetaPoison: 汎用クリーンラベルデータ中毒
- Authors: W. Ronny Huang, Jonas Geiping, Liam Fowl, Gavin Taylor, Tom Goldstein
- Abstract要約: データ中毒は、ニューラルネットワークの文脈における新たな脅威である。
メタポゾン(MetaPoison)は、メタラーニングによって二段階問題を近似し、ニューラルネットワークを騙す毒を発生させる一階法である。
ブラックボックスのGoogle Cloud AutoML APIでトレーニングされたモデルのデータ中毒が、初めて成功したことを実証します。
- 参考スコア(独自算出の注目度): 58.13959698513719
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data poisoning -- the process by which an attacker takes control of a model
by making imperceptible changes to a subset of the training data -- is an
emerging threat in the context of neural networks. Existing attacks for data
poisoning neural networks have relied on hand-crafted heuristics, because
solving the poisoning problem directly via bilevel optimization is generally
thought of as intractable for deep models. We propose MetaPoison, a first-order
method that approximates the bilevel problem via meta-learning and crafts
poisons that fool neural networks. MetaPoison is effective: it outperforms
previous clean-label poisoning methods by a large margin. MetaPoison is robust:
poisoned data made for one model transfer to a variety of victim models with
unknown training settings and architectures. MetaPoison is general-purpose, it
works not only in fine-tuning scenarios, but also for end-to-end training from
scratch, which till now hasn't been feasible for clean-label attacks with deep
nets. MetaPoison can achieve arbitrary adversary goals -- like using poisons of
one class to make a target image don the label of another arbitrarily chosen
class. Finally, MetaPoison works in the real-world. We demonstrate for the
first time successful data poisoning of models trained on the black-box Google
Cloud AutoML API. Code and premade poisons are provided at
https://github.com/wronnyhuang/metapoison
- Abstract(参考訳): データ中毒 — トレーニングデータのサブセットに知覚不可能な変更を加えることによって、攻撃者がモデルを制御できるプロセス — は、ニューラルネットワークのコンテキストにおいて、新たな脅威となる。
データ中毒ニューラルネットワークに対する既存の攻撃は、バイレベル最適化によって直接中毒問題を解決することは、一般的に深層モデルにとって難解であると考えられているため、手作りのヒューリスティックスに依存している。
メタポゾン(MetaPoison)は、メタラーニングによって二段階問題を近似し、ニューラルネットワークを騙す毒を発生させる一階法である。
MetaPoisonは、従来のクリーンラベル中毒法をはるかに上回る効果がある。
MetaPoisonは堅牢である: あるモデルのために作られた有毒なデータは、未知のトレーニング設定とアーキテクチャを持つさまざまな犠牲者モデルに転送される。
MetaPoisonは汎用的で、微調整のシナリオだけでなく、ゼロからエンドツーエンドのトレーニングにも使えます。
メタポゾンは、あるクラスの毒物を使ってターゲットイメージに他の任意の選択されたクラスのラベルを付けるような、任意の敵目標を達成することができる。
最後に、MetaPoisonは現実世界で動作する。
ブラックボックスのGoogle Cloud AutoML APIでトレーニングされたモデルのデータ中毒を初めて実証した。
コードとプレメイドの毒はhttps://github.com/wronnyhuang/metapoisonで提供される。
関連論文リスト
- On the Exploitability of Instruction Tuning [103.8077787502381]
そこで本研究では,モデルの動作を変えるための命令チューニングを,相手がどのように活用できるかを検討する。
自動データ中毒パイプラインである textitAutoPoison を提案する。
結果から、AutoPoisonは、少数のデータだけを中毒することで、敵がモデルの振る舞いを変えることを可能にする。
論文 参考訳(メタデータ) (2023-06-28T17:54:04Z) - Poison Attack and Defense on Deep Source Code Processing Models [38.32413592143839]
我々は、CodePoisonerという名前のソースコードに対して、強力な想像上の敵として毒攻撃フレームワークを提示する。
CodePoisonerは、人間の知覚できない毒のサンプルをコンパイルして、トレーニングデータに毒を加えて攻撃する。
トレーニングデータ中の毒サンプルを検出するために,CodeDetectorという効果的な防御手法を提案する。
論文 参考訳(メタデータ) (2022-10-31T03:06:40Z) - Indiscriminate Data Poisoning Attacks on Neural Networks [28.09519873656809]
データ中毒攻撃は、トレーニングプロセスに "poisoned" データを注入することで、モデルに影響を与えることを目的としている。
既存の毒殺攻撃を詳しく調べて、Stackelbergのシーケンシャルゲームを解くための、古いアルゴリズムと新しいアルゴリズムを結びつける。
本稿では,近代的な自動微分パッケージを有効利用し,同時に有毒点を生成するための効率的な実装を提案する。
論文 参考訳(メタデータ) (2022-04-19T18:57:26Z) - Adversarial Examples Make Strong Poisons [55.63469396785909]
従来は訓練済みのモデルに対する攻撃を意図していた敵の例は,近年の毒殺に特化して設計された手法よりも,データ中毒に有効であることを示す。
また,本手法は,データセットのセキュアなリリースにおいて,既存の中毒法よりも極めて効果的である。
論文 参考訳(メタデータ) (2021-06-21T01:57:14Z) - Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。
我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
論文 参考訳(メタデータ) (2021-06-18T08:29:53Z) - De-Pois: An Attack-Agnostic Defense against Data Poisoning Attacks [17.646155241759743]
De-Poisは、中毒攻撃に対する攻撃に依存しない防御です。
我々は,4種類の毒殺攻撃を実施,5種類の典型的な防御方法を用いてデポアを評価する。
論文 参考訳(メタデータ) (2021-05-08T04:47:37Z) - Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [56.280018325419896]
Data Poisoning攻撃は、トレーニングデータを変更して、そのようなデータでトレーニングされたモデルを悪意を持って制御する。
我々は「スクラッチから」と「クリーンラベルから」の両方である特に悪意のある毒物攻撃を分析します。
フルサイズで有毒なImageNetデータセットをスクラッチからトレーニングした現代のディープネットワークにおいて、ターゲットの誤分類を引き起こすのは、これが初めてであることを示す。
論文 参考訳(メタデータ) (2020-09-04T16:17:54Z) - Just How Toxic is Data Poisoning? A Unified Benchmark for Backdoor and
Data Poisoning Attacks [74.88735178536159]
データ中毒は、モデル盗難から敵の攻撃まで、脅威の中で一番の懸念事項だ。
データ中毒やバックドア攻撃は、テスト設定のバリエーションに非常に敏感である。
厳格なテストを適用して、それらを恐れるべき程度を判断します。
論文 参考訳(メタデータ) (2020-06-22T18:34:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。