論文の概要: Automatic Red Teaming for Implicit Vulnerabilities of Text-to-Image Models

• arxiv url: http://arxiv.org/abs/2609.06094v1
• Date: Sat, 05 Sep 2026 13:45:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 11:40:05.624271
• Title: Automatic Red Teaming for Implicit Vulnerabilities of Text-to-Image Models
• Title（参考訳）: テキスト・ツー・イメージモデルにおける不必要な脆弱性に対する自動レッド・チーム
• Abstract要約: 本稿では,ターゲットモデルのパラメータへのアクセスを必要とせずに,暗黙の脆弱性を明らかにするためのAdvPIE(Adversarial Probing for Implicit VulnErabilities)を提案する。 AdvPIEは、審査員からのフィードバックに基づいて暗黙の敵のプロンプトを生成し、洗練するためのポリシーエージェントを採用する。 標準および安全性に適合したT2Iモデルの実験では、AdvPIE1が暗黙の脆弱性を効果的に発見している。
• 参考スコア（独自算出の注目度）: 58.59008920408855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Red-teaming Text-to-Image (T2I) models is essential for safe deployment, yet it remains particularly challenging against implicit adversarial prompts. Unlike explicit adversarial prompts that can be readily identified and blocked, implicit ones are much harder to detect: the prompts appear benign on the text surface yet still lead to inappropriate visual content. To address this, we propose Adversarial Probing for Implicit VulnErabilities (AdvPIE), a multimodal agentic framework to expose implicit vulnerabilities without requiring access to the parameters of target models. AdvPIE adopts a policy agent to generate and refine implicit adversarial prompts based on the feedback from a judge agent. To construct informative feedback, the judge agent provides modality-specific safety evaluation at both global and relative levels across iterations. To effectively leverage the feedback, we propose a novel Cumulative Adversarial Decoding strategy for the policy agent, which dynamically reweights token distributions to favor tokens that lead to more harmful images while preserving sampling diversity. Extensive experiments on standard and safety-aligned T2I models show that AdvPIE1 effectively uncovers implicit vulnerabilities, outperforming various baseline methods.
• Abstract（参考訳）: Red-teaming Text-to-Image (T2I)モデルは安全なデプロイメントには不可欠だが、暗黙の敵対的プロンプトに対して特に困難である。 容易に識別され、ブロックされる明示的な敵のプロンプトとは異なり、暗黙のプロンプトは検出するのがはるかに困難である。 そこで本研究では,ターゲットモデルのパラメータへのアクセスを必要とせずに,暗黙的な脆弱性を露呈するマルチモーダルエージェントフレームワークAdvPIEを提案する。 AdvPIEは、審査員からのフィードバックに基づいて暗黙の敵のプロンプトを生成し、洗練するためのポリシーエージェントを採用する。 情報的フィードバックを構築するために、審査員は、イテレーション全体にわたって、グローバルレベルと相対レベルの両方において、モダリティ固有の安全性評価を提供する。 このフィードバックを効果的に活用するために,提案するポリシエージェントのための新しい累積逆復号法を提案し,トークン分布を動的に重み付けし,より有害な画像につながるトークンを優先し,サンプリングの多様性を保ちながら選択する。 標準および安全に整合したT2Iモデルに対する大規模な実験により、AdvPIE1は暗黙の脆弱性を効果的に発見し、様々なベースライン手法より優れていることが示された。

関連論文リスト

• Beyond the Payload: How User Invocation Shapes Coding Agent Vulnerability to Repository Poisoning [39.57248170050304]
  コーディングエージェントは、サードパーティリポジトリからのプロジェクトのブートストラップなど、ソフトウェアエンジニアリングタスクにますます使用されている。 これらのユーザ側の選択をPrompt-Level設定(PLC)と呼び、CIPR(Coding In Poisoned Repos)を導入します。 CIPRは、20のリポジトリに1,920のインスタンス、4つのタスクタイプ、3つのソーシャルメディアベースのプロンプトスタイル、3つのスキル/ルール条件、そしてアタック成功率(ASR)とエージェントアラートレート(AR)を含む。 脆弱性は非常にコンテキスト依存的であり、タスクタイプはASRの4.5倍の違いをテストで生成する。
  論文  参考訳（メタデータ） (2026-08-31T12:26:01Z)
• Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model [73.59026525350808]
  2つのモードからの視覚的および意味的な監視信号を協調的に最適化する二重対向微調整フレームワークを提案する。 本手法は, ゼロショット分類, 画像キャプション, 視覚的質問応答タスクにおいて, 対向ロバスト性評価における最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2026-07-21T10:49:29Z)
• Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents [93.19140872946842]
  大規模言語モデル(LLM)によって駆動されるWebエージェントは、現実の環境にますますデプロイされる。 これにより、一見良質なコンテンツがエージェントの振る舞いを操作する敵の命令を埋め込む、プロンプト・インジェクション・アタックに対して脆弱になる。 実世界のWebエージェントシステムにおいて,損害を体系的に分類し,属性付けするベンチマークである textbfsysname を導入する。
  論文  参考訳（メタデータ） (2026-06-11T14:12:43Z)
• Uncovering Linguistic Fragility in Vision-Language-Action Models via Diversity-Aware Red Teaming [64.48633529149579]
  本稿では,VLA(Vision-Language-Action)モデルの言語的変異に対する脆弱性を明らかにするための新しいフレームワークを提案する。 本手法は, ストレス試験用VLAエージェントへのスケーラブルなアプローチを示すため, 平均作業成功率を93.33%から5.85%に下げる。
  論文  参考訳（メタデータ） (2026-04-07T08:43:36Z)
• CIBER: A Comprehensive Benchmark for Security Evaluation of Code Interpreter Agents [27.35968236632966]
  LLMベースのコードインタプリタエージェントは、ますます重要な状況にデプロイされている。 既存のベンチマークでは、動的コード実行、ツールインタラクション、マルチターンコンテキストから生じるセキュリティリスクをキャプチャできない。 動的アタック生成、分離されたセキュアサンドボックス、状態認識評価を組み合わせた自動ベンチマークであるCIBERを紹介する。
  論文  参考訳（メタデータ） (2026-02-23T06:41:41Z)
• SafeRedir: Prompt Embedding Redirection for Robust Unlearning in Image Generation Models [67.84174763413178]
  我々はSafeRedirを紹介した。SafeRedirは、迅速な埋め込みリダイレクトによる堅牢なアンラーニングのための軽量な推論時フレームワークである。 SafeRedirは,効果的な非学習能力,意味的・知覚的保存能力,堅牢な画像品質,対人攻撃に対する耐性の向上を実現している。
  論文  参考訳（メタデータ） (2026-01-13T15:01:38Z)
• Proxy-Embedding as an Adversarial Teacher: An Embedding-Guided Bidirectional Attack for Referring Expression Segmentation Models [7.064823891326925]
  Referring Expression (RES)は、自然言語記述に基づく画像の正確なオブジェクトセグメンテーションを可能にする。 その印象的な性能にもかかわらず、RESモデルの敵の例に対する堅牢性はほとんど解明されていない。 本稿では RES モデルに対する埋め込み誘導双方向攻撃 PEAT を提案する。
  論文  参考訳（メタデータ） (2025-06-19T09:14:04Z)
• Manipulating Multimodal Agents via Cross-Modal Prompt Injection [34.35145839873915]
  マルチモーダルエージェントにおいて、これまで見過ごされていた重要なセキュリティ脆弱性を特定します。 攻撃者が複数のモードにまたがって敵の摂動を埋め込む新たな攻撃フレームワークであるCrossInjectを提案する。 本手法は,攻撃成功率を少なくとも30.1%向上させることで,最先端の攻撃よりも優れる。
  論文  参考訳（メタデータ） (2025-04-19T16:28:03Z)
• Prompt-driven Transferable Adversarial Attack on Person Re-Identification with Attribute-aware Textual Inversion [17.18411620606476]
  本稿では,歩行者画像の微細な意味的特徴を損なうために,Attribute-aware Prompt Attack (AP-Attack)を導入する。 AP-Attackは最先端の転送可能性を実現し、従来の手法よりも22.9%上回った。
  論文  参考訳（メタデータ） (2025-02-27T02:32:58Z)
• Illusions of Relevance: Using Content Injection Attacks to Deceive Retrievers, Rerankers, and LLM Judges [52.96987928118327]
  検索,リランカー,大型言語モデル(LLM)の埋め込みモデルは,コンテンツインジェクション攻撃に対して脆弱であることがわかった。 主な脅威は,(1) 意味不明な内容や有害な内容の挿入,(2) 関連性を高めるために,問合せ全体あるいはキークエリ用語の挿入,の2つである。 本研究は, 注射内容の配置や関連物質と非関連物質とのバランスなど, 攻撃の成功に影響を与える要因を系統的に検討した。
  論文  参考訳（メタデータ） (2025-01-30T18:02:15Z)
• Few-Shot Adversarial Prompt Learning on Vision-Language Models [62.50622628004134]
  知覚不能な逆境摂動に対するディープニューラルネットワークの脆弱性は、広く注目を集めている。 それまでの努力は、相手の視覚的特徴をテキストの監督と整合させることで、ゼロショットの敵の堅牢性を達成した。 本稿では、限られたデータで入力シーケンスを適応させることで、対向性を大幅に向上させる、数ショットの対向的プロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-21T18:28:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。