論文の概要: Vulnerability of Text-to-Image Models to Prompt Template Stealing: A Differential Evolution Approach

• arxiv url: http://arxiv.org/abs/2502.14285v1
• Date: Thu, 20 Feb 2025 05:52:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:28:14.954957
• Title: Vulnerability of Text-to-Image Models to Prompt Template Stealing: A Differential Evolution Approach
• Title（参考訳）: テンプレートステアリングにおけるテキスト・画像モデルの脆弱性:差分進化的アプローチ
• Authors: Yurong Wu, Fangwen Mu, Qiuhong Zhang, Jinjing Zhao, Xinrun Xu, Lingrui Mei, Yang Wu, Lin Shi, Junjie Wang, Zhiming Ding, Yiwei Wang,
• Abstract要約: 簡単な難易度と難易度に分類した50のテンプレートと450のイメージからなるベンチマークであるPrismを紹介する。 EvoStealerは,モデル微調整なしで動作可能なテンプレートステアリング手法である。 評価の結果,EvoStealerの盗難テンプレートはオリジナルと非常によく似た画像を再現し,他の被験者に効果的に一般化できることがわかった。
• 参考スコア（独自算出の注目度）: 16.619255714170222
• License:
• Abstract: Prompt trading has emerged as a significant intellectual property concern in recent years, where vendors entice users by showcasing sample images before selling prompt templates that can generate similar images. This work investigates a critical security vulnerability: attackers can steal prompt templates using only a limited number of sample images. To investigate this threat, we introduce Prism, a prompt-stealing benchmark consisting of 50 templates and 450 images, organized into Easy and Hard difficulty levels. To identify the vulnerabity of VLMs to prompt stealing, we propose EvoStealer, a novel template stealing method that operates without model fine-tuning by leveraging differential evolution algorithms. The system first initializes population sets using multimodal large language models (MLLMs) based on predefined patterns, then iteratively generates enhanced offspring through MLLMs. During evolution, EvoStealer identifies common features across offspring to derive generalized templates. Our comprehensive evaluation conducted across open-source (INTERNVL2-26B) and closed-source models (GPT-4o and GPT-4o-mini) demonstrates that EvoStealer's stolen templates can reproduce images highly similar to originals and effectively generalize to other subjects, significantly outperforming baseline methods with an average improvement of over 10%. Moreover, our cost analysis reveals that EvoStealer achieves template stealing with negligible computational expenses. Our code and dataset are available at https://github.com/whitepagewu/evostealer.
• Abstract（参考訳）: 近年、プロンプト取引は重要な知的財産権の懸念として現れており、ベンダーは類似の画像を生成するプロンプトテンプレートを販売する前に、サンプル画像を展示することでユーザーを誘惑している。 攻撃者は限られた数のサンプル画像だけでプロンプトテンプレートを盗むことができる。 この脅威を調査するために、50のテンプレートと450のイメージからなるプロンプトステアリングベンチマークであるPrismを導入し、簡単な難易度と難易度に分類した。 そこで本研究では, 微分進化アルゴリズムを応用して, モデル微調整なしで動作可能なテンプレートステアリング手法であるEvoStealerを提案する。 このシステムは、事前に定義されたパターンに基づいてマルチモーダル大言語モデル(MLLM)を用いて集団集合を初期化し、次にMLLMを通して強化された子孫を反復的に生成する。 進化の過程で、EvoStealerは、子孫間で共通の特徴を特定し、一般化されたテンプレートを導出する。 オープンソース(INTERNVL2-26B)とクローズドソースモデル(GPT-4oおよびGPT-4o-mini)の総合評価により,EvoStealerの盗まれたテンプレートはオリジナルと非常によく似た画像を再現し,他の被験者に効果的に一般化し,平均10%以上の改善率でベースライン法よりも大幅に向上することを示した。 さらに,コスト分析の結果,EvoStealerは無視できない計算コストでテンプレートステルスを実現していることが明らかとなった。 私たちのコードとデータセットはhttps://github.com/whitepagewu/evostealer.comで公開されています。

関連論文リスト

• MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
  本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。 離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。 MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T17:57:18Z)
• Synthesizing Efficient Data with Diffusion Models for Person Re-Identification Pre-Training [51.87027943520492]
  本稿では,既知の同一性に基づく多様な画像の効率向上と生成を行う新しいパラダイムDiffusion-ReIDを提案する。 提案したパラダイムに適合して,まず,5,183個のIDから777K以上の画像で構成された,大規模なRe-IDデータセットDiff-Personを新たに作成する。
  論文  参考訳（メタデータ） (2024-06-10T06:26:03Z)
• AquaLoRA: Toward White-box Protection for Customized Stable Diffusion Models via Watermark LoRA [67.68750063537482]
  拡散モデルは高品質な画像の生成において顕著な成功を収めた。 最近の研究は、SDモデルがポストホック法医学のための透かし付きコンテンツを出力できるようにすることを目的としている。 このシナリオにおける最初の実装としてtextttmethod を提案する。
  論文  参考訳（メタデータ） (2024-05-18T01:25:47Z)
• Shake to Leak: Fine-tuning Diffusion Models Can Amplify the Generative Privacy Risk [60.36852134501251]
  私たちは新しいプライバシーリスク、Shake-to-Leak(S2L)を明らかにしました。 最悪の場合、S2Lは拡散モデルにおける最先端の会員推論攻撃(MIA)を5.4%のAUCで増幅することができる。 この発見は、拡散モデルによるプライバシーリスクが、これまで認識されていたよりもさらに深刻であることを示している。
  論文  参考訳（メタデータ） (2024-03-14T14:48:37Z)
• TARGET: Template-Transferable Backdoor Attack Against Prompt-based NLP Models via GPT4 [15.015584291919817]
  GPT4によるTARGET(Template-trAnsfeRable backdoor attack aGainst prompt-basEd NLP model)の新たなアプローチを提案する。 具体的には、まずGPT4を用いて手動テンプレートを再構成し、トーンストロングとノーマルテンプレートを生成し、前者はトレーニング前段階でバックドアトリガとしてモデルに注入する。 そして、ダウンストリームタスクで上記のテンプレートを直接使用するだけでなく、GPT4を使用して上記のテンプレートと似たトーンでテンプレートを生成し、転送可能なアタックを実行します。
  論文  参考訳（メタデータ） (2023-11-29T08:12:09Z)
• Watermarking Vision-Language Pre-trained Models for Multi-modal Embedding as a Service [19.916419258812077]
  マーカと呼ばれる言語に対して,ロバストな埋め込み型透かし手法を提案する。 そこで本研究では,バックドアトリガと組込み分布の両方に基づく共同著作権検証戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-10T04:27:27Z)
• Decision-based iterative fragile watermarking for model integrity verification [33.42076236847454]
  ファンデーションモデルは一般的に、彼らのサービスに対する高い需要を満たすために、クラウドサーバー上でホストされる。 これは、アタッカーがクラウドにアップロードしたり、ローカルシステムから転送した後で修正できるため、セキュリティ上のリスクにさらされる。 本稿では,通常のトレーニングサンプルをモデル変更に敏感な脆弱なサンプルに変換する,反復的意思決定に基づく脆弱な透かしアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-13T10:36:11Z)
• Are You Stealing My Model? Sample Correlation for Fingerprinting Deep Neural Networks [86.55317144826179]
  従来の方法は、常にモデル指紋として転送可能な敵の例を利用する。 本稿では,SAmple correlation (SAC) に基づく新しいモデル盗難検出手法を提案する。 SACは、敵の訓練や移動学習を含む様々なモデル盗難攻撃をうまく防いでいる。
  論文  参考訳（メタデータ） (2022-10-21T02:07:50Z)
• DeepHider: A Multi-module and Invisibility Watermarking Scheme for Language Model [0.0]
  本稿では,モデル分類モジュールを置換し,モデル全体の微調整を行う新たな脅威を提案する。 私たちは、盗難の所有権ステートメントを防ぐために、タンパー保護やトレーサビリティといったブロックチェーンの特性を使用します。 実験の結果,提案手法は100%の透かし検証精度でオーナシップの検証に成功した。
  論文  参考訳（メタデータ） (2022-08-09T11:53:24Z)
• Defending against Model Stealing via Verifying Embedded External Features [90.29429679125508]
  トレーニングサンプルがなく、モデルパラメータや構造にアクセスできない場合でも、敵はデプロイされたモデルを盗むことができる。 我々は、不審なモデルがディフェンダー特定遠近法の特徴の知識を含んでいるかどうかを検証することによって、他の角度からの防御を探索する。 本手法は, 複数段階の盗難処理によって盗難モデルが得られた場合でも, 同時に異なる種類の盗難モデルを検出するのに有効である。
  論文  参考訳（メタデータ） (2021-12-07T03:51:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。