論文の概要: Understanding Implosion in Text-to-Image Generative Models

• arxiv url: http://arxiv.org/abs/2409.12314v1
• Date: Wed, 18 Sep 2024 21:06:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 15:26:10.197457
• Title: Understanding Implosion in Text-to-Image Generative Models
• Title（参考訳）: テキスト・画像生成モデルにおけるインロジョンの理解
• Authors: Wenxin Ding, Cathy Y. Li, Shawn Shan, Ben Y. Zhao, Haitao Zheng,
• Abstract要約: 我々は、画像生成モデルの毒性攻撃に対する堅牢性に関する最初の分析的枠組みを確立する。 我々は、アライメントの難測度を用いて、アライメントの硬さによるトレーニングデータの影響を定量化する。 ADは、個々のプロンプト(または概念)が毒を盛るにつれて増加することを証明している。 その結果、生成モデルはランダムで非コヒーレントな画像を大まかに含み出力する。
• 参考スコア（独自算出の注目度）: 26.90376728384208
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent works show that text-to-image generative models are surprisingly vulnerable to a variety of poisoning attacks. Empirical results find that these models can be corrupted by altering associations between individual text prompts and associated visual features. Furthermore, a number of concurrent poisoning attacks can induce "model implosion," where the model becomes unable to produce meaningful images for unpoisoned prompts. These intriguing findings highlight the absence of an intuitive framework to understand poisoning attacks on these models. In this work, we establish the first analytical framework on robustness of image generative models to poisoning attacks, by modeling and analyzing the behavior of the cross-attention mechanism in latent diffusion models. We model cross-attention training as an abstract problem of "supervised graph alignment" and formally quantify the impact of training data by the hardness of alignment, measured by an Alignment Difficulty (AD) metric. The higher the AD, the harder the alignment. We prove that AD increases with the number of individual prompts (or concepts) poisoned. As AD grows, the alignment task becomes increasingly difficult, yielding highly distorted outcomes that frequently map meaningful text prompts to undefined or meaningless visual representations. As a result, the generative model implodes and outputs random, incoherent images at large. We validate our analytical framework through extensive experiments, and we confirm and explain the unexpected (and unexplained) effect of model implosion while producing new, unforeseen insights. Our work provides a useful tool for studying poisoning attacks against diffusion models and their defenses.
• Abstract（参考訳）: 最近の研究では、テキストから画像への生成モデルが、様々な中毒攻撃に対して驚くほど脆弱であることが示されている。 実験結果から,個々のテキストプロンプトと関連する視覚的特徴の関連性を変化させることで,これらのモデルを劣化させることができることがわかった。 さらに、複数の同時毒殺攻撃が「モデルインロジョン」を誘発し、モデルが無作為なプロンプトに対して有意義なイメージを生成できなくなる。 これらの興味深い発見は、これらのモデルに対する中毒攻撃を理解するための直感的な枠組みがないことを浮き彫りにしている。 本研究では,潜伏拡散モデルにおけるクロスアテンション機構の挙動をモデル化し解析することにより,画像生成モデルの毒性攻撃に対する堅牢性に関する最初の解析的枠組みを確立する。 我々は「教師付きグラフアライメント」の抽象的な問題として相互注意訓練をモデル化し、アライメントの硬さによってトレーニングデータの影響を公式に定量化する。 ADが高いほど、アライメントが難しくなる。 ADは、個々のプロンプト(または概念)が毒を盛るにつれて増加することを証明している。 ADが大きくなるにつれて、アライメントタスクはますます難しくなり、意味のあるテキストのプロンプトを無意味または無意味な視覚表現にマップする、非常に歪んだ結果をもたらす。 その結果、生成モデルはランダムで非コヒーレントな画像を大まかに含み出力する。 我々は、広範囲な実験を通じて分析フレームワークを検証し、新しい予期せぬ洞察を生み出しながら、モデルインロジョンの予期せぬ(そして説明できない)効果を検証し、説明する。 我々の研究は、拡散モデルとその防御に対する中毒攻撃の研究に有用なツールを提供する。

関連論文リスト

• Deferred Poisoning: Making the Model More Vulnerable via Hessian Singularization [39.37308843208039]
  我々は、より脅迫的なタイプの毒殺攻撃(Dederred Poisoning Attack)を導入する。 この新たな攻撃により、モデルは通常、トレーニングと検証フェーズで機能するが、回避攻撃や自然騒音に非常に敏感になる。 提案手法の理論的および実証的な解析を行い、画像分類タスクの実験を通してその効果を検証した。
  論文  参考訳（メタデータ） (2024-11-06T08:27:49Z)
• Model X-ray:Detecting Backdoored Models via Decision Boundary [62.675297418960355]
  バックドア攻撃はディープニューラルネットワーク(DNN)に重大な脆弱性をもたらす 図形化された2次元(2次元)決定境界の解析に基づく新しいバックドア検出手法であるモデルX線を提案する。 提案手法は,クリーンサンプルが支配する意思決定領域とラベル分布の集中度に着目した2つの戦略を含む。
  論文  参考訳（メタデータ） (2024-02-27T12:42:07Z)
• Diffusion Model with Cross Attention as an Inductive Bias for Disentanglement [58.9768112704998]
  遠方表現学習は、観測データ内の本質的要因を抽出する試みである。 我々は新しい視点と枠組みを導入し、クロスアテンションを持つ拡散モデルが強力な帰納バイアスとなることを示す。 これは、複雑な設計を必要とせず、クロスアテンションを持つ拡散モデルの強力な解離能力を明らかにする最初の研究である。
  論文  参考訳（メタデータ） (2024-02-15T05:07:54Z)
• Adversarial Examples are Misaligned in Diffusion Model Manifolds [7.979892202477701]
  本研究は,拡散モデルのレンズによる敵攻撃の研究に焦点をあてる。 我々の焦点は、拡散モデルを利用して、画像に対するこれらの攻撃によって引き起こされる異常を検出し、分析することにある。 その結果、良性画像と攻撃画像とを効果的に識別できる顕著な能力が示された。
  論文  参考訳（メタデータ） (2024-01-12T15:29:21Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)
• Trade-offs in Fine-tuned Diffusion Models Between Accuracy and Interpretability [5.865936619867771]
  生成拡散モデルにおける従来の計測値とモデル解釈可能性による画像の忠実度との間に連続的なトレードオフが生じる。 我々は、真に解釈可能な生成モデルを開発するための設計原則のセットを提示する。
  論文  参考訳（メタデータ） (2023-03-31T09:11:26Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• Data Poisoning Attacks Against Multimodal Encoders [24.02062380303139]
  視覚と言語の両方において多モーダルモデルに対する中毒攻撃について検討する。 攻撃を緩和するため,前訓練と後訓練の両方の防御策を提案する。
  論文  参考訳（メタデータ） (2022-09-30T06:50:08Z)
• Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models [103.64435911083432]
  PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。 PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。 また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
  論文  参考訳（メタデータ） (2020-12-06T20:30:26Z)
• A General Framework for Survival Analysis and Multi-State Modelling [70.31153478610229]
  ニューラル常微分方程式を多状態生存モデル推定のためのフレキシブルで一般的な方法として用いる。 また,本モデルでは,サバイバルデータセット上での最先端性能を示すとともに,マルチステート環境での有効性を示す。
  論文  参考訳（メタデータ） (2020-06-08T19:24:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。