論文の概要: BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models
- arxiv url: http://arxiv.org/abs/2307.16489v1
- Date: Mon, 31 Jul 2023 08:34:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 15:18:36.866229
- Title: BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models
- Title（参考訳）: BAGM:テキスト対画像生成モデルのバックドア攻撃
- Authors: Jordan Vice, Naveed Akhtar, Richard Hartley, Ajmal Mian
- Abstract要約: テキストから画像生成モデル(BAGM)のバックドア攻撃について紹介する。
我々の攻撃は、テキストから画像への生成パイプラインの様々な段階を対象としている。
ブランド化された製品イメージのMarketable Foodsデータセットも提供しています。
- 参考スコア（独自算出の注目度）: 55.26007075984096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rise in popularity of text-to-image generative artificial intelligence
(AI) has attracted widespread public interest. At the same time, backdoor
attacks are well-known in machine learning literature for their effective
manipulation of neural models, which is a growing concern among practitioners.
We highlight this threat for generative AI by introducing a Backdoor Attack on
text-to-image Generative Models (BAGM). Our attack targets various stages of
the text-to-image generative pipeline, modifying the behaviour of the embedded
tokenizer and the pre-trained language and visual neural networks. Based on the
penetration level, BAGM takes the form of a suite of attacks that are referred
to as surface, shallow and deep attacks in this article. We compare the
performance of BAGM to recently emerging related methods. We also contribute a
set of quantitative metrics for assessing the performance of backdoor attacks
on generative AI models in the future. The efficacy of the proposed framework
is established by targeting the state-of-the-art stable diffusion pipeline in a
digital marketing scenario as the target domain. To that end, we also
contribute a Marketable Foods dataset of branded product images. We hope this
work contributes towards exposing the contemporary generative AI security
challenges and fosters discussions on preemptive efforts for addressing those
challenges.
Keywords: Generative Artificial Intelligence, Generative Models,
Text-to-Image generation, Backdoor Attacks, Trojan, Stable Diffusion.
- Abstract（参考訳）: テキストから画像への生成人工知能(AI)の普及は、大衆の関心を集めている。
同時に、バックドア攻撃は、ニューラルネットワークモデルの効果的な操作に関する機械学習文献でよく知られています。
我々は、テキストから画像生成モデル(BAGM)にバックドア攻撃を導入することで、生成AIに対するこの脅威を強調する。
我々の攻撃はテキスト・ツー・イメージ生成パイプラインの様々な段階を対象としており、埋め込みトークン化器と事前訓練された言語と視覚ニューラルネットワークの動作を変更する。
浸透レベルに基づいて、bagmは、この記事で表面攻撃、浅い攻撃、深い攻撃と呼ばれる一連の攻撃の形式をとります。
BAGMの性能を最近出現している手法と比較する。
また、将来、生成AIモデルに対するバックドアアタックのパフォーマンスを評価するための定量的指標も提供します。
提案手法の有効性は,デジタルマーケティングシナリオにおける最先端安定拡散パイプラインをターゲットドメインとして確立した。
そのために、ブランド化された製品イメージのMarketable Foodsデータセットも提供します。
この研究が、現代の生成的AIセキュリティ課題の公開に寄与し、これらの課題に対処するための先制的な取り組みに関する議論を促進することを願っている。
キーワード:生成人工知能、生成モデル、テキスト・ツー・イメージ生成、バックドア攻撃、トロイの木馬、安定拡散。
関連論文リスト
- Stealthy Targeted Backdoor Attacks against Image Captioning [16.409633596670368]
本稿では,画像キャプションモデルに対するバックドア攻撃を標的とした新たな手法を提案する。
本手法は,物体検出に普遍摂動技術を活用することで,まず特別なトリガを学習する。
我々のアプローチは、モデルクリーンパフォーマンスに無視できる影響を与えながら、高い攻撃成功率を達成することができる。
論文 参考訳（メタデータ） (2024-06-09T18:11:06Z) - ART: Automatic Red-teaming for Text-to-Image Models to Protect Benign Users [18.3621509910395]
そこで本研究では,テキスト・ツー・イメージ・モデルの安全性を評価するために,新しい自動レッド・チーム・フレームワークARTを提案する。
包括的実験により、人気のあるオープンソーステキスト・ツー・イメージモデルの毒性を明らかにする。
また、テキスト・ツー・イメージ・モデルに関連する安全性リスクを研究するために、大規模な3つの赤チームデータセットも導入する。
論文 参考訳（メタデータ） (2024-05-24T07:44:27Z) - Manipulating and Mitigating Generative Model Biases without Retraining [49.60774626839712]
モデル再学習を伴わないリッチ言語埋め込み空間を利用して,T2Iモデルバイアスの動的かつ効率的な操作を提案する。
基礎ベクトル代数を利用することで、T2Iモデルの出力をシフトさせる言語モデルの埋め込みを便利に制御できることを示す。
副産物として、この制御は正確なプロンプト工学の一形態として機能し、通常のテキストプロンプトを使って一般的には理解できない画像を生成する。
論文 参考訳（メタデータ） (2024-04-03T07:33:30Z) - Generated Distributions Are All You Need for Membership Inference
Attacks Against Generative Models [29.135008138824023]
本稿では,様々な生成モデルに対する最初の一般化されたメンバシップ推論攻撃を提案する。
実験では、全ての生成モデルが攻撃に対して脆弱であることを検証した。
論文 参考訳（メタデータ） (2023-10-30T10:21:26Z) - RenAIssance: A Survey into AI Text-to-Image Generation in the Era of
Large Model [93.8067369210696]
テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。
拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。
大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
論文 参考訳（メタデータ） (2023-09-02T03:27:20Z) - VillanDiffusion: A Unified Backdoor Attack Framework for Diffusion
Models [69.20464255450788]
拡散モデル(英: Diffusion Models, DM)は、可逆的ノイズ付加から可逆的腐敗過程を学習し、雑音を除去する手法である。
最近の研究では、基本的な無条件DMがバックドア注入に弱いことが示されている。
本稿では,DMのバックドア分析の現在の範囲を広げるために,統合されたバックドア攻撃フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-12T05:14:13Z) - Rickrolling the Artist: Injecting Backdoors into Text Encoders for
Text-to-Image Synthesis [16.421253324649555]
テキスト誘導生成モデルに対するバックドアアタックを導入する。
我々の攻撃はエンコーダをわずかに変更するだけで、クリーンなプロンプトで画像生成に不審なモデル動作が明らかになることはない。
論文 参考訳（メタデータ） (2022-11-04T12:36:36Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳（メタデータ） (2022-11-02T17:05:45Z) - Membership Inference Attacks Against Text-to-image Generation Models [23.39695974954703]
本稿では,メンバシップ推論のレンズを用いたテキスト・画像生成モデルの最初のプライバシ解析を行う。
本稿では,メンバーシップ情報に関する3つの重要な直観と,それに応じて4つの攻撃手法を設計する。
提案した攻撃はいずれも大きな性能を達成でき、場合によっては精度が1に近い場合もあり、既存のメンバーシップ推論攻撃よりもはるかに深刻なリスクとなる。
論文 参考訳（メタデータ） (2022-10-03T14:31:39Z) - Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。
我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。
実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
論文 参考訳（メタデータ） (2021-03-06T05:50:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。