論文の概要: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models

• arxiv url: http://arxiv.org/abs/2310.13828v2
• Date: Fri, 16 Feb 2024 21:39:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 05:07:12.315762
• Title: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models
• Title（参考訳）: テキスト・画像生成モデルにおけるプロンプト特異的ポジショニング攻撃
• Authors: Shawn Shan, Wenxin Ding, Josephine Passananti, Stanley Wu, Haitao Zheng, Ben Y. Zhao
• Abstract要約: 本研究は, 発生モデルにおいて, 毒殺攻撃が有効であることを示す。 我々は、最適化されたプロンプト特異的中毒攻撃であるNightshadeを紹介する。 我々は、Nightshade攻撃がテキスト・ツー・イメージ生成モデルにおける一般的な特徴を不安定にすることができることを示す。
• 参考スコア（独自算出の注目度）: 27.869121097017786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data poisoning attacks manipulate training data to introduce unexpected behaviors into machine learning models at training time. For text-to-image generative models with massive training datasets, current understanding of poisoning attacks suggests that a successful attack would require injecting millions of poison samples into their training pipeline. In this paper, we show that poisoning attacks can be successful on generative models. We observe that training data per concept can be quite limited in these models, making them vulnerable to prompt-specific poisoning attacks, which target a model's ability to respond to individual prompts. We introduce Nightshade, an optimized prompt-specific poisoning attack where poison samples look visually identical to benign images with matching text prompts. Nightshade poison samples are also optimized for potency and can corrupt an Stable Diffusion SDXL prompt in <100 poison samples. Nightshade poison effects "bleed through" to related concepts, and multiple attacks can composed together in a single prompt. Surprisingly, we show that a moderate number of Nightshade attacks can destabilize general features in a text-to-image generative model, effectively disabling its ability to generate meaningful images. Finally, we propose the use of Nightshade` and similar tools as a last defense for content creators against web scrapers that ignore opt-out/do-not-crawl directives, and discuss possible implications for model trainers and content creators.
• Abstract（参考訳）: データ中毒攻撃はトレーニングデータを操作し、トレーニング時に機械学習モデルに予期せぬ振る舞いを導入する。 大量のトレーニングデータセットを持つテキストから画像の生成モデルでは、現在の毒殺攻撃の理解は、数百万の毒素サンプルをトレーニングパイプラインに注入する必要があることを示唆している。 本稿では, 生成モデルにおいて, 毒性攻撃が有効であることを示す。 概念ごとのトレーニングデータはこれらのモデルでは極めて限定的であり、個々のプロンプトに反応するモデルの能力をターゲットにした、プロンプト特異的な中毒攻撃に対して脆弱である。 nightshadeは、中毒サンプルがテキストプロンプトと一致する良性画像と視覚的に同一に見えるように最適化されたプロンプト特異的毒殺攻撃である。 ナイトシェード毒のサンプルは有効性にも最適化されており、安定拡散SDXLプロンプトを<100の毒のサンプルで破壊することができる。 ナイトシェイド中毒は関連する概念に「出血」し、複数の攻撃を1つのプロンプトで構成することができる。 意外なことに、適度な数のNightshade攻撃は、テキストから画像への生成モデルにおける一般的な特徴を不安定にし、意味のある画像を生成する能力を効果的に無効にする。 最後に,Op-out/do-no-crawlディレクティブを無視するWebスクレイパーに対して,コンテンツクリエータにとって最後の防御手段としてNightshadeなどのツールを使用することを提案する。

関連論文リスト

• The Victim and The Beneficiary: Exploiting a Poisoned Model to Train a Clean Model on Poisoned Data [4.9676716806872125]
  バックドア攻撃は、ディープニューラルネットワーク(DNN)のトレーニングプロセスに深刻なセキュリティ上の脅威をもたらしている The Victim and The Beneficiary (V&B) は有毒なモデルを利用して、余分な良性サンプルを使わずにクリーンなモデルを訓練する。 本フレームワークは,良質な試料の性能を維持しつつ,バックドア注入の防止と各種攻撃に対する堅牢化に有効である。
  論文  参考訳（メタデータ） (2024-04-17T11:15:58Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)
• Adversarial Examples Make Strong Poisons [55.63469396785909]
  従来は訓練済みのモデルに対する攻撃を意図していた敵の例は,近年の毒殺に特化して設計された手法よりも,データ中毒に有効であることを示す。 また,本手法は,データセットのセキュアなリリースにおいて,既存の中毒法よりも極めて効果的である。
  論文  参考訳（メタデータ） (2021-06-21T01:57:14Z)
• Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
  我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。 我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
  論文  参考訳（メタデータ） (2021-06-18T08:29:53Z)
• De-Pois: An Attack-Agnostic Defense against Data Poisoning Attacks [17.646155241759743]
  De-Poisは、中毒攻撃に対する攻撃に依存しない防御です。 我々は,4種類の毒殺攻撃を実施,5種類の典型的な防御方法を用いてデポアを評価する。
  論文  参考訳（メタデータ） (2021-05-08T04:47:37Z)
• What Doesn't Kill You Makes You Robust(er): Adversarial Training against Poisons and Backdoors [57.040948169155925]
  敵対的なトレーニングフレームワークを拡張し、(訓練時間)中毒やバックドア攻撃から防御します。 本手法は, トレーニング中に毒を発生させ, トレーニングバッチに注入することにより, ネットワークを中毒の影響に敏感化する。 この防御は、適応攻撃に耐え、多様な脅威モデルに一般化し、以前の防御よりも優れた性能のトレードオフをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-02-26T17:54:36Z)
• DeepPoison: Feature Transfer Based Stealthy Poisoning Attack [2.1445455835823624]
  DeepPoisonは、1つの発電機と2つの識別器の斬新な敵対ネットワークです。 DeepPoisonは最先端の攻撃成功率を91.74%まで達成できる。
  論文  参考訳（メタデータ） (2021-01-06T15:45:36Z)
• Concealed Data Poisoning Attacks on NLP Models [56.794857982509455]
  逆攻撃はテスト時間入力の摂動によってNLPモデル予測を変化させる。 我々は,入力に所望のトリガーフレーズが存在する場合,相手がモデル予測を制御できる新しいデータ中毒攻撃を開発した。
  論文  参考訳（メタデータ） (2020-10-23T17:47:06Z)
• Poison Attacks against Text Datasets with Conditional Adversarially Regularized Autoencoder [78.01180944665089]
  本稿では,自然言語推論(NLI)とテキスト分類システムにおいて致命的な脆弱性を示す。 我々はNLPモデルに対する「バックドア中毒」攻撃を提示する。
  論文  参考訳（メタデータ） (2020-10-06T13:03:49Z)
• Bullseye Polytope: A Scalable Clean-Label Poisoning Attack with Improved Transferability [23.031305862548226]
  ニューラルネットワークに対する最近の懸念の源は、クリーンラベルデータセット中毒攻撃の出現である。 本稿では,移動学習に対するスケーラブルで移動可能なクリーンラベル中毒攻撃を提案する。 我々の攻撃であるBullseye Polytopeは、エンドツーエンドのトランスファー学習において、現在の最先端技術の攻撃成功率を26.75%向上させる。
  論文  参考訳（メタデータ） (2020-05-01T03:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。