論文の概要: ProTIP: Probabilistic Robustness Verification on Text-to-Image Diffusion Models against Stochastic Perturbation

• arxiv url: http://arxiv.org/abs/2402.15429v2
• Date: Fri, 12 Jul 2024 21:25:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 01:45:18.247519
• Title: ProTIP: Probabilistic Robustness Verification on Text-to-Image Diffusion Models against Stochastic Perturbation
• Title（参考訳）: ProTIP:確率的摂動に対するテキスト・画像拡散モデルの確率的ロバスト性検証
• Authors: Yi Zhang, Yun Tang, Wenjie Ruan, Xiaowei Huang, Siddartha Khastgir, Paul Jennings, Xingyu Zhao,
• Abstract要約: テキスト・ツー・イメージ(T2I)拡散モデル(DM)は、単純なテキスト記述に基づいて高品質な画像を生成する際、印象的な能力を示した。 多くのディープラーニング(DL)モデルに共通するように、DMは堅牢性に欠ける。 本稿では,T2I DMのロバスト性に関する確率論的概念を導入し,統計的保証で評価するための効率的なフレームワークであるProTIPを確立する。
• 参考スコア（独自算出の注目度）: 18.103478658038846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-Image (T2I) Diffusion Models (DMs) have shown impressive abilities in generating high-quality images based on simple text descriptions. However, as is common with many Deep Learning (DL) models, DMs are subject to a lack of robustness. While there are attempts to evaluate the robustness of T2I DMs as a binary or worst-case problem, they cannot answer how robust in general the model is whenever an adversarial example (AE) can be found. In this study, we first introduce a probabilistic notion of T2I DMs' robustness; and then establish an efficient framework, ProTIP, to evaluate it with statistical guarantees. The main challenges stem from: i) the high computational cost of the generation process; and ii) determining if a perturbed input is an AE involves comparing two output distributions, which is fundamentally harder compared to other DL tasks like classification where an AE is identified upon misprediction of labels. To tackle the challenges, we employ sequential analysis with efficacy and futility early stopping rules in the statistical testing for identifying AEs, and adaptive concentration inequalities to dynamically determine the "just-right" number of stochastic perturbations whenever the verification target is met. Empirical experiments validate the effectiveness and efficiency of ProTIP over common T2I DMs. Finally, we demonstrate an application of ProTIP to rank commonly used defence methods.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)拡散モデル(DM)は、単純なテキスト記述に基づいて高品質な画像を生成する際、印象的な能力を示した。 しかし、多くのディープラーニング(DL)モデルに共通するように、DMは堅牢性に欠ける。 T2I DMのロバスト性は二分問題や最悪の問題として評価する試みもあるが、逆例(AE)が見つかると、モデルが一般にロバストであることに答えることはできない。 本研究ではまず,T2I DMsの頑健性に関する確率論的概念を導入し,統計的保証により評価するための効率的なフレームワークであるProTIPを確立する。 主な課題は次の通りである。 一 生成工程の計算コストが高いこと。 ii) 摂動入力がAEであるか否かを決定するには、2つの出力分布を比較する必要があるが、これはラベルの誤認によりAEが識別される分類のような他のDLタスクと比べて根本的に困難である。 これらの課題に対処するために,AEを識別するための統計検査において,有効性と不確実性の早期停止規則を用いた逐次解析と適応濃度の不等式を用いて,検証対象が満たされる度に,確率的摂動の「正しい」個数を動的に決定する。 実験により、一般的なT2I DM上でのProTIPの有効性と効率が検証された。 最後に,一般に使用されている防御手法のランク付けにProTIPを適用した。

関連論文リスト

• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• Evaluating the Robustness of Text-to-image Diffusion Models against Real-world Attacks [22.651626059348356]
  テキスト・ツー・イメージ(T2I)拡散モデル(DM)は,テキスト記述から高品質な画像を生成することを約束している。 1つの根本的な問題は、既存のT2I DMが入力テキストの変動に対して堅牢であるかどうかである。 この研究は、現実世界の攻撃に対するT2I DMの最初の堅牢性評価を提供する。
  論文  参考訳（メタデータ） (2023-06-16T00:43:35Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Semantic Image Attack for Visual Model Diagnosis [80.36063332820568]
  実際には、特定の列車およびテストデータセットに関する計量分析は、信頼性や公正なMLモデルを保証しない。 本稿では,セマンティック・イメージ・アタック(SIA)を提案する。
  論文  参考訳（メタデータ） (2023-03-23T03:13:04Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Uncertain Facial Expression Recognition via Multi-task Assisted Correction [43.02119884581332]
  MTACと呼ばれる不確実な表情認識に対処するためのマルチタスク支援補正法を提案する。 具体的には、信頼度推定ブロックと重み付け正則化モジュールを用いて、固体試料をハイライトし、バッチ毎に不確かさサンプルを抑圧する。 RAF-DB、AffectNet、AffWild2データセットの実験は、MTACが合成および実際の不確実性に直面した際のベースラインよりも大幅に改善されていることを示した。
  論文  参考訳（メタデータ） (2022-12-14T10:28:08Z)
• SAFARI: Versatile and Efficient Evaluations for Robustness of Interpretability [11.230696151134367]
  ディープラーニング(DL)の解釈可能性(Interpretability of Deep Learning)は、信頼できるAIの障壁である。 XAI法を考慮すれば, DLの堅牢性を評価することが不可欠である。
  論文  参考訳（メタデータ） (2022-08-19T16:07:22Z)
• Instance-Dependent Label-Noise Learning with Manifold-Regularized Transition Matrix Estimation [172.81824511381984]
  遷移行列 T(x) は、インスタンス依存ノイズ(IDN)の下では特定できない 我々は、T(x) の幾何学について、「より近い2つのインスタンスは、それに対応する遷移行列がより類似している」という仮定を提案する。 本手法は,難解なIDNの下でのラベルノイズ学習において,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-06-06T04:12:01Z)
• Adversarial Attacks and Defense for Non-Parametric Two-Sample Tests [73.32304304788838]
  本稿では,非パラメトリックTSTの障害モードを逆攻撃により系統的に明らかにする。 TST非依存的な攻撃を可能にするために,異なる種類のテスト基準を協調的に最小化するアンサンブル攻撃フレームワークを提案する。 そこで本研究では,TSTの強化のために,逆対を反復的に生成し,深層カーネルを訓練する最大最小最適化を提案する。
  論文  参考訳（メタデータ） (2022-02-07T11:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。