論文の概要: Prompt Stealing Attacks Against Text-to-Image Generation Models

• arxiv url: http://arxiv.org/abs/2302.09923v2
• Date: Mon, 15 Apr 2024 17:40:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 02:50:12.055427
• Title: Prompt Stealing Attacks Against Text-to-Image Generation Models
• Title（参考訳）: テキスト・画像生成モデルに対するプロンプトステアリング攻撃
• Authors: Xinyue Shen, Yiting Qu, Michael Backes, Yang Zhang,
• Abstract要約: 専門のマーケットプレースで高品質なプロンプトを取引するトレンドが生まれている。 迅速な盗難攻撃が成功すると、プロンプトエンジニアの知的財産を直接侵害する。 本稿では,PmptStealer を用いた簡易かつ効果的なプロンプト盗難攻撃を提案する。
• 参考スコア（独自算出の注目度）: 27.7826502104361
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-Image generation models have revolutionized the artwork design process and enabled anyone to create high-quality images by entering text descriptions called prompts. Creating a high-quality prompt that consists of a subject and several modifiers can be time-consuming and costly. In consequence, a trend of trading high-quality prompts on specialized marketplaces has emerged. In this paper, we perform the first study on understanding the threat of a novel attack, namely prompt stealing attack, which aims to steal prompts from generated images by text-to-image generation models. Successful prompt stealing attacks directly violate the intellectual property of prompt engineers and jeopardize the business model of prompt marketplaces. We first perform a systematic analysis on a dataset collected by ourselves and show that a successful prompt stealing attack should consider a prompt's subject as well as its modifiers. Based on this observation, we propose a simple yet effective prompt stealing attack, PromptStealer. It consists of two modules: a subject generator trained to infer the subject and a modifier detector for identifying the modifiers within the generated image. Experimental results demonstrate that PromptStealer is superior over three baseline methods, both quantitatively and qualitatively. We also make some initial attempts to defend PromptStealer. In general, our study uncovers a new attack vector within the ecosystem established by the popular text-to-image generation models. We hope our results can contribute to understanding and mitigating this emerging threat.
• Abstract（参考訳）: テキストから画像への生成モデルは、アートワークのデザインプロセスに革命をもたらし、誰でもプロンプトと呼ばれるテキスト記述を入力して高品質な画像を作成することができるようになった。 主題といくつかの修飾子で構成される高品質なプロンプトを作成するには、時間と費用がかかります。 結果として、専門市場における高品質なプロンプトの取引のトレンドが生まれている。 本稿では,テキスト・ツー・イメージ・ジェネレーション・モデルによる生成画像からのプロンプトを盗むことを目的とした,新たな攻撃の脅威を理解するための最初の研究を行う。 突発的な盗難攻撃は、プロンプトエンジニアの知的財産を直接侵害し、プロンプトマーケットプレースのビジネスモデルを危うくする。 まず、自分たちで収集したデータセットの体系的な分析を行い、成功したプロンプト盗難攻撃がプロンプトの主題と修飾子を考慮すべきであることを示す。 そこで本研究では,PmptStealerを用いた簡易かつ効果的なプロンプト盗難攻撃を提案する。 被写体を推論するように訓練された被写体ジェネレータと、生成された画像内の修飾体を識別する修飾体検出器の2つのモジュールで構成されている。 実験結果から, PromptStealerは定量および定性的に3つの基準線法よりも優れていることが示された。 PromptStealerの防御も試みています。 概して、一般的なテキスト・画像生成モデルによって確立されたエコシステム内の新たな攻撃ベクトルを明らかにする。 この新たな脅威の理解と緩和に、私たちの成果が貢献できることを願っています。

関連論文リスト

• Forging the Forger: An Attempt to Improve Authorship Verification via Data Augmentation [52.72682366640554]
  著者検証(英語: Authorship Verification, AV)とは、ある特定の著者によって書かれたか、別の人物によって書かれたのかを推測するテキスト分類タスクである。 多くのAVシステムは敵の攻撃に弱いことが示されており、悪意のある著者は、その書体スタイルを隠蔽するか、あるいは他の著者の書体を模倣することによって、積極的に分類者を騙そうとしている。
  論文  参考訳（メタデータ） (2024-03-17T16:36:26Z)
• Prompt Stealing Attacks Against Large Language Models [5.421974542780941]
  大規模言語モデル(LLM)に対する新たな攻撃を提案する。 提案したプロンプト盗難攻撃は、生成された回答に基づいて、これらのよく設計されたプロンプトを盗むことを目的としている。 実験の結果,提案した攻撃の顕著な性能を示した。
  論文  参考訳（メタデータ） (2024-02-20T12:25:26Z)
• On the Proactive Generation of Unsafe Images From Text-To-Image Models Using Benign Prompts [38.63253101205306]
  従来の研究は、操作されたプロンプトがテキスト・ツー・イメージ・モデルを用いて安全でない画像を生成することを実証してきた。 基本攻撃と実用性維持攻撃の2つの毒素攻撃を提案する。 本研究は,実世界のシナリオにおけるテキスト・ツー・イメージ・モデル導入の潜在的なリスクを明らかにするものである。
  論文  参考訳（メタデータ） (2023-10-25T13:10:44Z)
• SurrogatePrompt: Bypassing the Safety Filter of Text-to-Image Models via Substitution [21.93748586123046]
  我々は、Midjourneyに対する最初の即時攻撃を開発し、その結果、豊富なNSFW画像が生成される。 我々のフレームワークであるSurrogatePromptは、大規模言語モデル、画像からテキスト、画像から画像へのモジュールを利用して、攻撃プロンプトを体系的に生成する。 その結果、Midjourneyのプロプライエタリな安全フィルタを攻撃プロンプトでバイパスして88%の成功率を明らかにした。
  論文  参考訳（メタデータ） (2023-09-25T13:20:15Z)
• BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models [54.19289900203071]
  テキストから画像への生成人工知能の普及は、大衆の関心を集めている。 ユーザを微妙に操作するコンテンツを生成するために,この技術を攻撃できることを実証する。 テキストから画像生成モデル(BAGM)に対するバックドアアタックを提案する。 我々の攻撃は、生成過程の3段階にわたる3つの一般的なテキスト・画像生成モデルをターゲットにした最初の攻撃である。
  論文  参考訳（メタデータ） (2023-07-31T08:34:24Z)
• Effective Prompt Extraction from Language Models [70.00099540536382]
  本稿では,迅速な抽出攻撃の有効性を評価するための枠組みを提案する。 3つの異なるプロンプトと11の基盤となる大規模言語モデルによる実験では、単純なテキストベースの攻撃は、実際に高い確率でプロンプトを明らかにすることができる。 本フレームワークは,抽出したプロンプトがモデル幻覚ではなく実際の秘密プロンプトであるか否かを高精度に判定する。
  論文  参考訳（メタデータ） (2023-07-13T16:15:08Z)
• Word-Level Explanations for Analyzing Bias in Text-to-Image Models [72.71184730702086]
  Text-to-image(T2I)モデルは、人種や性別に基づいて少数派を過小評価する画像を生成することができる。 本稿では,入力プロンプトのどの単語が生成画像のバイアスの原因となるかを検討する。
  論文  参考訳（メタデータ） (2023-06-03T21:39:07Z)
• Two-in-One: A Model Hijacking Attack Against Text Generation Models [19.826236952700256]
  我々は,異なるテキスト分類タスクを複数の世代にハイジャックできる新しいモデルハイジャック攻撃であるDittoを提案する。 提案手法は,Dittoを用いてテキスト生成モデルをハイジャックし,その利便性を損なうことなく実現可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-12T12:13:27Z)
• SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models [56.88192537044364]
  本研究では,事前学習拡散モデルに対するセマンティック・アダプタ (SUR-adapter) と呼ばれる簡易なパラメータ効率の良い微調整手法を提案する。 ユーザエクスペリエンスの向上により,テキストから画像への拡散モデルの使いやすさが向上する。
  論文  参考訳（メタデータ） (2023-05-09T05:48:38Z)
• Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models [103.61066310897928]
  最近のテキスト・ツー・イメージ生成モデルは、ターゲットのテキスト・プロンプトによって導かれる多様な創造的な画像を生成する非例外的な能力を実証している。 革命的ではあるが、現在の最先端拡散モデルは、与えられたテキストプロンプトのセマンティクスを完全に伝達するイメージの生成に失敗する可能性がある。 本研究では, 一般に公開されている安定拡散モデルを分析し, 破滅的無視の有無を評価し, そのモデルが入力プロンプトから1つ以上の被写体を生成するのに失敗した場合について検討する。 提案するジェネレーティブ・セマンティック・ナーシング(GSN)の概念は、推論時間中にハエの生殖過程に介入し、忠実性を改善するものである。
  論文  参考訳（メタデータ） (2023-01-31T18:10:38Z)
• Rickrolling the Artist: Injecting Backdoors into Text Encoders for Text-to-Image Synthesis [16.421253324649555]
  テキスト誘導生成モデルに対するバックドアアタックを導入する。 我々の攻撃はエンコーダをわずかに変更するだけで、クリーンなプロンプトで画像生成に不審なモデル動作が明らかになることはない。
  論文  参考訳（メタデータ） (2022-11-04T12:36:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。