論文の概要: Stable Diffusion is Unstable

• arxiv url: http://arxiv.org/abs/2306.02583v2
• Date: Tue, 6 Jun 2023 04:28:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 12:01:47.675446
• Title: Stable Diffusion is Unstable
• Title（参考訳）: 安定拡散は不安定です
• Authors: Chengbin Du, Yanxi Li, Zhongwei Qiu, Chang Xu
• Abstract要約: 本稿では,テキスト・ツー・イメージ・モデル(ATM)の自動攻撃により,小さな摂動を効率的に生成する手法を提案する。 ATMは短文攻撃で91.1%の成功率、長文攻撃で81.2%の成功率を達成した。 1) 生成速度の変動性, 2) 粗粒度特性の類似性, 3) 単語の多意味性, 4) 単語の位置決めの4つの攻撃パターンが示された。
• 参考スコア（独自算出の注目度）: 21.13934830556678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, text-to-image models have been thriving. Despite their powerful generative capacity, our research has uncovered a lack of robustness in this generation process. Specifically, the introduction of small perturbations to the text prompts can result in the blending of primary subjects with other categories or their complete disappearance in the generated images. In this paper, we propose Auto-attack on Text-to-image Models (ATM), a gradient-based approach, to effectively and efficiently generate such perturbations. By learning a Gumbel Softmax distribution, we can make the discrete process of word replacement or extension continuous, thus ensuring the differentiability of the perturbation generation. Once the distribution is learned, ATM can sample multiple attack samples simultaneously. These attack samples can prevent the generative model from generating the desired subjects without compromising image quality. ATM has achieved a 91.1% success rate in short-text attacks and an 81.2% success rate in long-text attacks. Further empirical analysis revealed four attack patterns based on: 1) the variability in generation speed, 2) the similarity of coarse-grained characteristics, 3) the polysemy of words, and 4) the positioning of words.
• Abstract（参考訳）: 近年,テキスト対画像モデルが盛んである。 その強力な生成能力にもかかわらず、我々の研究は、この世代のプロセスにおける堅牢さの欠如を明らかにしました。 具体的には、テキストプロンプトに小さな摂動を導入することで、他のカテゴリと主主題が混ざり合ったり、生成された画像に完全に消えたりする可能性がある。 本稿では,このような摂動を効果的かつ効率的に生成するために,勾配に基づく手法であるテキスト・ツー・イメージモデル(atm)の自動攻撃を提案する。 Gumbel Softmax分布を学習することにより、単語置換や拡張の離散的な過程を連続的に行うことができ、摂動生成の微分可能性を確保することができる。 配信が学習されると、ATMは複数の攻撃サンプルを同時にサンプリングできる。 これらの攻撃サンプルは、画像の品質を損なうことなく、生成モデルが所望の被写体を生成するのを防ぐことができる。 ATMは短文攻撃で91.1%の成功率、長文攻撃で81.2%の成功率を達成した。 さらなる実証分析により、以下の4つの攻撃パターンが明らかになった。 1) 発生速度の変動性。 2)粗粒度特性の類似性 3)言葉の多義性,及び 4) 単語の位置決め。

関連論文リスト

• Boosting Imperceptibility of Stable Diffusion-based Adversarial Examples Generation with Momentum [13.305800254250789]
  我々は,SD-MIAE(SD-MIAE)という新しいフレームワークを提案する。 視覚的不受容性を保ち、元のクラスラベルとのセマンティックな類似性を保ちながら、ニューラルネットワーク分類器を効果的に誤解させることができる敵の例を生成する。 実験の結果,SD-MIAEは79%の誤分類率を示し,最先端法よりも35%向上した。
  論文  参考訳（メタデータ） (2024-10-17T01:22:11Z)
• Text Diffusion with Reinforced Conditioning [92.17397504834825]
  本稿では,テキスト拡散モデルを完全に解析し,トレーニング中の自己条件の劣化と,トレーニングとサンプリングのミスアライメントの2つの重要な限界を明らかにする。 そこで本研究では, TRECと呼ばれる新しいテキスト拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:24:02Z)
• Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent Diffusion Model [61.53213964333474]
  本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。 具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。 設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
  論文  参考訳（メタデータ） (2023-12-18T15:25:23Z)
• On the Proactive Generation of Unsafe Images From Text-To-Image Models Using Benign Prompts [38.63253101205306]
  従来の研究は、操作されたプロンプトがテキスト・ツー・イメージ・モデルを用いて安全でない画像を生成することを実証してきた。 基本攻撃と実用性維持攻撃の2つの毒素攻撃を提案する。 本研究は,実世界のシナリオにおけるテキスト・ツー・イメージ・モデル導入の潜在的なリスクを明らかにするものである。
  論文  参考訳（メタデータ） (2023-10-25T13:10:44Z)
• Counterfactual Image Generation for adversarially robust and interpretable Classifiers [1.3859669037499769]
  本稿では,GAN(Generative Adrial Networks)を基盤として,画像から画像への変換を利用した統合フレームワークを提案する。 これは、分類器と識別器を1つのモデルに組み合わせて、実際の画像をそれぞれのクラスに属性付け、生成されたイメージを「フェイク」として生成することで達成される。 モデルが敵攻撃に対するロバスト性の向上を示すことを示すとともに,判別器の「フェイクネス」値が予測の不確かさの指標となることを示す。
  論文  参考訳（メタデータ） (2023-10-01T18:50:29Z)
• DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability [75.9781362556431]
  本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。 DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T05:03:48Z)
• Discovering Failure Modes of Text-guided Diffusion Models via Adversarial Search [52.519433040005126]
  テキスト誘導拡散モデル(TDM)は広く応用されているが、予期せず失敗することがある。 本研究は,TDMの障害モードについて,より詳細に研究し,理解することを目的としている。 本稿では,TDM上での最初の逆探索手法であるSAGEを提案する。
  論文  参考訳（メタデータ） (2023-06-01T17:59:00Z)
• Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models [103.61066310897928]
  最近のテキスト・ツー・イメージ生成モデルは、ターゲットのテキスト・プロンプトによって導かれる多様な創造的な画像を生成する非例外的な能力を実証している。 革命的ではあるが、現在の最先端拡散モデルは、与えられたテキストプロンプトのセマンティクスを完全に伝達するイメージの生成に失敗する可能性がある。 本研究では, 一般に公開されている安定拡散モデルを分析し, 破滅的無視の有無を評価し, そのモデルが入力プロンプトから1つ以上の被写体を生成するのに失敗した場合について検討する。 提案するジェネレーティブ・セマンティック・ナーシング(GSN)の概念は、推論時間中にハエの生殖過程に介入し、忠実性を改善するものである。
  論文  参考訳（メタデータ） (2023-01-31T18:10:38Z)
• Evade the Trap of Mediocrity: Promoting Diversity and Novelty in Text Generation via Concentrating Attention [85.5379146125199]
  強力なトランスフォーマーアーキテクチャは高品質な文を生成するのに優れていることが証明されている。 本研究では,Transformerにおけるスペーサーの注意値が多様性を向上させることを発見した。 注意分布のシャープさを制御するために,新しい注意正規化損失を導入する。
  論文  参考訳（メタデータ） (2022-11-14T07:53:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。