論文の概要: Intriguing Properties of Diffusion Models: A Large-Scale Dataset for Evaluating Natural Attack Capability in Text-to-Image Generative Models

• arxiv url: http://arxiv.org/abs/2308.15692v1
• Date: Wed, 30 Aug 2023 01:21:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-31 15:14:49.684173
• Title: Intriguing Properties of Diffusion Models: A Large-Scale Dataset for Evaluating Natural Attack Capability in Text-to-Image Generative Models
• Title（参考訳）: 拡散モデルの興味深い性質:テキスト・画像生成モデルにおける自然攻撃能力評価のための大規模データセット
• Authors: Takami Sato, Justin Yue, Nanze Chen, Ningfei Wang, Qi Alfred Chen
• Abstract要約: 最先端のディープニューラルネットワーク(DNN)モデルでは,頑健な機能を意図的に取り除いても,予測が保たれていることが分かっています。 NDD攻撃は、拡散モデルにおける自然な攻撃能力を利用して、低コストで、モデルに依存しない、およびトランスファー可能な敵攻撃を生成することができる。
• 参考スコア（独自算出の注目度）: 24.32775981315855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Denoising probabilistic diffusion models have shown breakthrough performance that can generate more photo-realistic images or human-level illustrations than the prior models such as GANs. This high image-generation capability has stimulated the creation of many downstream applications in various areas. However, we find that this technology is indeed a double-edged sword: We identify a new type of attack, called the Natural Denoising Diffusion (NDD) attack based on the finding that state-of-the-art deep neural network (DNN) models still hold their prediction even if we intentionally remove their robust features, which are essential to the human visual system (HVS), by text prompts. The NDD attack can generate low-cost, model-agnostic, and transferrable adversarial attacks by exploiting the natural attack capability in diffusion models. Motivated by the finding, we construct a large-scale dataset, Natural Denoising Diffusion Attack (NDDA) dataset, to systematically evaluate the risk of the natural attack capability of diffusion models with state-of-the-art text-to-image diffusion models. We evaluate the natural attack capability by answering 6 research questions. Through a user study to confirm the validity of the NDD attack, we find that the NDD attack can achieve an 88% detection rate while being stealthy to 93% of human subjects. We also find that the non-robust features embedded by diffusion models contribute to the natural attack capability. To confirm the model-agnostic and transferrable attack capability, we perform the NDD attack against an AD vehicle and find that 73% of the physically printed attacks can be detected as a stop sign. We hope that our study and dataset can help our community to be aware of the risk of diffusion models and facilitate further research toward robust DNN models.
• Abstract（参考訳）: ノイズ化確率拡散モデルは、gansのような以前のモデルよりもよりフォトリアリスティックな画像や人間レベルのイラストを生成できる画期的な性能を示している。 この高い画像生成能力は、様々な領域における多くの下流アプリケーションの作成を刺激した。 人間の視覚システム(HVS)に不可欠な、頑丈な機能を意図的に取り除いても、最先端のディープニューラルネットワーク(DNN)モデルが予測を維持できるという発見に基づいて、Natural Denoising Diffusion(NDD)攻撃と呼ばれる新たなタイプの攻撃を、テキストプロンプトによって特定する。 ndd攻撃は、拡散モデルにおける自然な攻撃能力を利用して、低コスト、モデル非依存、転送可能な敵攻撃を生成することができる。 そこで本研究では,ndda(natural denoising diffusion attack)データセットを構築し,最先端のテキストから画像への拡散モデルを用いて,拡散モデルの自然攻撃能力のリスクを体系的に評価する。 我々は,6つの研究課題に答えることで,自然攻撃能力を評価する。 ndd攻撃の妥当性を確認するためのユーザ調査の結果,ndd攻撃は93%の被験者にステルス状態で88%の検出率を達成できることがわかった。 また,拡散モデルに埋め込まれた非ロバスト特徴が自然攻撃能力に寄与することがわかった。 モデル非依存かつ移動可能な攻撃能力を確認するため、AD車両に対するNDD攻撃を行い、物理的に印刷された攻撃の73%を停止標識として検出する。 我々の研究とデータセットが、拡散モデルのリスクを認識し、堅牢なDNNモデルに向けたさらなる研究を促進することを願っている。

関連論文リスト

• Watch the Watcher! Backdoor Attacks on Security-Enhancing Diffusion Models [65.30406788716104]
  本研究では,セキュリティ強化拡散モデルの脆弱性について検討する。 これらのモデルは、シンプルで効果的なバックドア攻撃であるDIFF2に非常に感受性があることを実証する。 ケーススタディでは、DIFF2は、ベンチマークデータセットとモデル間で、パーフィケーション後の精度と認定精度の両方を著しく削減できることを示している。
  論文  参考訳（メタデータ） (2024-06-14T02:39:43Z)
• Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent Diffusion Model [61.53213964333474]
  本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。 具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。 設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
  論文  参考訳（メタデータ） (2023-12-18T15:25:23Z)
• Leveraging Diffusion-Based Image Variations for Robust Training on Poisoned Data [26.551317580666353]
  バックドア攻撃は、ニューラルネットワークをトレーニングする上で深刻なセキュリティ上の脅威となる。 本稿では,近年の拡散モデルのパワーを生かして,潜在的に有毒なデータセットのモデルトレーニングを可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-10T07:25:06Z)
• MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data Augmentation [58.93221876843639]
  本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。 トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。 ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
  論文  参考訳（メタデータ） (2023-10-04T01:36:30Z)
• Data Forensics in Diffusion Models: A Systematic Analysis of Membership Privacy [62.16582309504159]
  本研究では,拡散モデルに対するメンバシップ推論攻撃の系統的解析を開発し,各攻撃シナリオに適した新しい攻撃手法を提案する。 提案手法は容易に入手可能な量を利用して,現実的なシナリオにおいてほぼ完全な攻撃性能 (>0.9 AUCROC) を達成することができる。
  論文  参考訳（メタデータ） (2023-02-15T17:37:49Z)
• Exploiting epistemic uncertainty of the deep learning models to generate adversarial samples [0.7734726150561088]
  敵機械学習」は、新たな敵攻撃を考案し、より堅牢なアーキテクチャでこれらの攻撃を防御することを目的としている。 本研究では,モンテカルロ・ドロップアウトサンプリングから得られた定量的な疫学的不確実性について,敵対的攻撃目的に利用することを検討した。 提案手法により,攻撃成功率は82.59%から85.40%,82.86%から89.92%,88.06%から90.03%に向上した。
  論文  参考訳（メタデータ） (2021-02-08T11:59:27Z)
• Model Extraction Attacks on Graph Neural Networks: Taxonomy and Realization [40.37373934201329]
  GNNモデルに対するモデル抽出攻撃について検討・開発する。 まず、GNNモデル抽出の文脈で脅威モデリングを定式化する。 次に、攻撃を実装するために、各脅威においてアクセス可能な知識を利用する詳細な方法を示す。
  論文  参考訳（メタデータ） (2020-10-24T03:09:37Z)
• Adversarial Exposure Attack on Diabetic Retinopathy Imagery Grading [75.73437831338907]
  糖尿病網膜症(DR)は、世界中の視覚障害の主要な原因である。 診断を助けるために、多くの最先端の作業が強力なディープニューラルネットワーク(DNN)を構築し、網膜基底画像(RFI)を介してDRを自動的にグレードする。 RFIは一般的に、不正グレードにつながる可能性のあるカメラ露出の問題によって影響を受ける。 本稿では,敵攻撃の観点からこの問題を考察する。
  論文  参考訳（メタデータ） (2020-09-19T13:47:33Z)
• Learning to Attack: Towards Textual Adversarial Attacking in Real-world Situations [81.82518920087175]
  敵攻撃は、敵の例でディープニューラルネットワークを騙すことを目的としている。 本稿では、攻撃履歴から学習し、より効率的に攻撃を開始することができる強化学習に基づく攻撃モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-19T09:12:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。