論文の概要: Answer It or Not? Towards Prompt-Adapted Adversarial Images on Vision Language Models

• arxiv url: http://arxiv.org/abs/2610.16622v1
• Date: Mon, 12 Oct 2026 11:38:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.365649
• Title: Answer It or Not? Towards Prompt-Adapted Adversarial Images on Vision Language Models
• Title（参考訳）: 答えるかどうか?視覚言語モデルにおけるプロンプト適応型逆画像に向けて
• Abstract要約: 有害なプロンプトの拒絶と正統なプロンプトの正しい応答のバランスをとるために, Prompt-Adapted (ProAda) 対向画像を提案する。 視覚的プライバシに関連するデータセットの実験では、ProAdaが有害なプロンプトの90%以上を拒絶し、90%以上の合法的なプロンプトを許容できることが確認されている。
• 参考スコア（独自算出の注目度）: 25.792106303619065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advancement in language modeling, research on adversarial images has recently shifted from image classifiers to vision-language models (VLMs). Despite the new, text-prompt-driven nature of VLMs, we find that existing VLM adversaries have largely overlooked the dynamics of text prompts. In a typical use case, adversarial images can protect visual privacy by rejecting VLMs from answering questions about the image. However, existing protections are prompt-agnostic, i.e., indiscriminately rejecting any question, including those for potential legitimate use of the image. To address this limitation, we propose Prompt-Adapted (ProAda) adversarial images, which are optimized to balance the rejection of harmful prompts and the correct response of legitimate prompts. In particular, to achieve a more accurate adversarial direction, the text prompt is also iteratively updated with a simple classifier judging whether the harmfulness of the prompt remains. Extensive experiments on visual-privacy-related datasets validate that ProAda can reject over 90% of harmful prompts while allowing over 90% of legitimate ones, demonstrating superior overall performance compared to existing prompt-agnostic VLM adversaries. In addition, our ProAda achieves competitive overall cross-model transferability and improved robustness against countermeasures.
• Abstract（参考訳）: 近年,言語モデリングの進歩に伴い,画像分類器から視覚言語モデル (VLM) への移行が進んでいる。 VLMの新たなテキストプロンプト駆動の性質にもかかわらず、既存のVLM敵はテキストプロンプトのダイナミクスをほとんど見落としている。 典型的なユースケースでは、敵対画像は、VLMが画像に関する質問に答えることを拒否して、視覚的プライバシを保護することができる。 しかし、既存の保護は即時認識できない、すなわち、画像の正当な使用の可能性を含むあらゆる質問を無差別に拒否する。 この制限に対処するために,有害なプロンプトの拒絶と正統なプロンプトの正しい応答のバランスをとるために最適化された Prompt-Adapted (ProAda) 対向画像を提案する。 特に、より正確な対向方向を達成するために、テキストプロンプトの有害性が残るか否かを判定する簡単な分類器で、テキストプロンプトを反復的に更新する。 視覚的プライバシに関連するデータセットに関する大規模な実験は、ProAdaが有害なプロンプトの90%以上を拒絶し、正当なプロンプトの90%以上を許容し、既存のプロンプト非依存のVLM敵と比較して全体的なパフォーマンスが優れていることを証明している。 さらに,我々のProAdaは,総合的なクロスモデル転送性の向上と対策の堅牢性向上を実現している。

関連論文リスト

• Automatic Red Teaming for Implicit Vulnerabilities of Text-to-Image Models [58.59008920408855]
  本稿では,ターゲットモデルのパラメータへのアクセスを必要とせずに,暗黙の脆弱性を明らかにするためのAdvPIE(Adversarial Probing for Implicit VulnErabilities)を提案する。 AdvPIEは、審査員からのフィードバックに基づいて暗黙の敵のプロンプトを生成し、洗練するためのポリシーエージェントを採用する。 標準および安全性に適合したT2Iモデルの実験では、AdvPIE1が暗黙の脆弱性を効果的に発見している。
  論文  参考訳（メタデータ） (2026-09-05T13:45:09Z)
• GhostPrompt: Cross-Image Adversarial Prompt for Vision-Language Models [19.133064005999838]
  GhostPromptは敵のプロンプトで、一度最適化され、VLM出力を様々な画像にまたがって攻撃者が特定した応答に向けて操るために再利用される。 提案手法は,最新技術(SoTA)ベースラインと比較して30%以上の攻撃成功率向上を実現し,計算時間を70%削減する。
  論文  参考訳（メタデータ） (2026-07-22T02:33:56Z)
• PromptFlare: Prompt-Generalized Defense via Cross-Attention Decoy in Diffusion-Based Inpainting [25.24109316946351]
  PromptFlareは,拡散型塗布モデルによる悪質な修正から画像を保護するために設計された,新たな敵対的保護手法である。 提案手法は, 急速埋め込みの固有特性を利用して, 対向ノイズを注入し, サンプリング過程を抑える。 EditBenchデータセットを用いた実験により,本手法が各種メトリクスの最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-08-22T08:42:46Z)
• Image Generation from Contextually-Contradictory Prompts [50.999420029656214]
  本稿では,プロキシプロンプトのシーケンスを用いて認知過程をガイドする段階認識プロンプト分解フレームワークを提案する。 本手法は,文脈矛盾の存在下でのきめ細かな意味制御と正確な画像生成を可能にする。
  論文  参考訳（メタデータ） (2025-06-02T17:48:12Z)
• Transferable Adversarial Attacks on Black-Box Vision-Language Models [63.22532779621001]
  敵対的攻撃は、テキストのみのコンテキストとビジョンのみのコンテキストにおいて、オープンソースからプロプライエタリなブラックボックスモデルに移行することができる。 攻撃者は、特定の攻撃者による視覚情報の解釈を誘導するために、摂動を作れます。 普遍的な摂動 -- 広い範囲のイメージに適用可能な修正 -- は、これらの誤解釈を一貫して引き起こすことを発見した。
  論文  参考訳（メタデータ） (2025-05-02T06:51:11Z)
• Adversarial Prompt Tuning for Vision-Language Models [86.5543597406173]
  AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における画像エンコーダの対向ロバスト性を高める技術である。 我々は,AdvPTが白箱攻撃や黒箱攻撃に対する抵抗性を向上し,既存の画像処理による防御技術と組み合わせることで相乗効果を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-19T07:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。