論文の概要: Where Can We Fool the Model's Mind? Response-Guided Semantic Probing and Adaptive Routing for Transferable Attacks on Black-Box MLLMs

• arxiv url: http://arxiv.org/abs/2610.38013v1
• Date: Tue, 27 Oct 2026 22:09:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 19:06:30.018208
• Title: Where Can We Fool the Model's Mind? Response-Guided Semantic Probing and Adaptive Routing for Transferable Attacks on Black-Box MLLMs
• Title（参考訳）: モデル心はどこに置けるのか? ブラックボックスMLLMにおける応答誘導セマンティック・プロービングとアダプティブ・ルーティング
• Abstract要約: 我々は,MLLMの応答から,勾配,ロジット,パラメータ,内部表現へのアクセスなしに,意味的に脆弱な視覚領域を識別するブラックボックスフレームワークであるVISTAを紹介する。 脆弱性インフォームドセマンティックトランスファー攻撃は最大97%の攻撃成功率(ASR)を達成し、Pak Signal-to-Noise Ratio(PSNR)を30dB以上維持する。
• 参考スコア（独自算出の注目度）: 0.45835414225547183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) ground language in visual evidence, yet their semantic reasoning can be exploited through transferable black-box adversarial attacks. Existing attacks typically allocate perturbations using surrogate-model saliency, which may not reflect how an unseen MLLM semantically interprets or relies on different image regions. We introduce VISTA (Vulnerability-Informed Semantic Transfer Attacks), a black-box framework that identifies semantically vulnerable visual regions from an MLLM's responses without access to gradients, logits, parameters, or internal representations. VISTA supports two attack settings: (i) VISTA-Proxy, a pure-transfer setting that probes an open-source MLLM and transfers the resulting adversarial examples to unseen commercial MLLMs without querying them; and (ii) VISTA-Victim, a query-assisted setting that probes the target MLLM to capture model-specific semantic vulnerabilities. VISTA builds an Uncertainty-Based Multimodal Behavior (UBMB) map from response drift, conflict, misleading, and semantic shifts, then uses entropy-adaptive Sinkhorn routing and a surrogate ensemble to focus perturbations on vulnerable regions. Across GPT-5, Gemini-3.5-Flash, and Claude Sonnet 4.6, VISTA achieves up to 97 % attack success rate (ASR) while maintaining a Peak Signal-to-Noise Ratio (PSNR) above 30 dB. Notably, VISTA-Proxy achieves up to 93 % ASR without querying the final victim, demonstrating that response-derived semantic vulnerability can enable effective transfer across heterogeneous MLLMs.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、視覚的証拠の基盤言語であるが、それらの意味的推論は、転送可能なブラックボックスの敵攻撃によって利用することができる。 既存の攻撃は、通常、サロゲートモデルサリエンシを使って摂動を割り当てるが、これは見えないMLLMが意味論的に解釈するか、異なる画像領域に依存しているかを反映していないかもしれない。 VISTA(Vulnerability-Informed Semantic Transfer Attacks)は、MLLMの応答から、勾配、ロジット、パラメータ、内部表現へのアクセスなしに、意味的に脆弱な視覚領域を識別するブラックボックスフレームワークである。 VISTAは2つの攻撃設定をサポートする。 i)VISTA-Proxyは、オープンソースのMLLMを探索し、その結果得られた敵の例を照会せずに未確認の商用MLLMに転送する純粋転送設定である。 (ii) VISTA-Victimは、ターゲットMLLMをプローブしてモデル固有のセマンティック脆弱性をキャプチャするクエリ支援設定である。 VISTAは、応答ドリフト、コンフリクト、ミスリード、セマンティックシフトからUncertainty-Based Multimodal Behavior (UBMB) マップを構築し、エントロピー適応シンクホーンルーティングとサロゲートアンサンブルを使用して、脆弱な領域に摂動を集中させる。 GPT-5、Gemini-3.5-Flash、Claude Sonnet 4.6で、VISTAは最大97 %の攻撃成功率(ASR)を達成し、Pak Signal-to-Noise Ratio(PSNR)を30dB以上維持する。 特に、VISTA-Proxyは最終犠牲者に問い合わせることなく最大93%のASRを達成し、応答由来のセマンティック脆弱性が異種MLLM間の効果的な転送を可能にすることを示した。

関連論文リスト

• Understanding and Enhancing Encoder-based Adversarial Transferability against Large Vision-Language Models [19.899086203883254]
  大規模視覚言語モデル (LVLM) は、マルチモーダルタスクで顕著な成功を収めた。 視覚的な入力への依存は、大きな敵の脅威に晒される。 既存のエンコーダベースの攻撃は、LVLM全体ではなく、視覚エンコーダのみに最適化することで、入力画像を摂動させる。 本研究は,LVLMにおけるエンコーダを用いた対向転送性に関する最初の体系的研究である。
  論文  参考訳（メタデータ） (2026-02-10T05:51:02Z)
• FORCE: Transferable Visual Jailbreaking Attacks via Feature Over-Reliance CorrEction [82.6826848085638]
  視覚的ジェイルブレイク攻撃は、洗練されたテキスト攻撃よりも簡単にオープンソースのMLLMを操作することができる。 これらの攻撃は、非常に限られたクロスモデル転送可能性を示し、クローズドソースMLLMの脆弱性を確実に特定することができない。 本稿では,FORCE(Feature Over-Reliance CorrEction)手法を提案する。
  論文  参考訳（メタデータ） (2025-09-25T11:36:56Z)
• Backdoor Attack on Vision Language Models with Stealthy Semantic Manipulation [32.24294112337828]
  BadSemは、トレーニング中に画像とテキストのペアを意図的に間違えることでバックドアを注入するデータ中毒攻撃だ。 実験の結果,BadSemは平均的ASRの98%以上を達成し,アウト・オブ・ディストリビューション・データセットに最適化し,有害なモダリティをまたいで転送可能であることがわかった。 我々の発見は、より安全なデプロイメントのためにビジョン言語モデルにおけるセマンティックな脆弱性に対処する緊急の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-06-08T16:40:40Z)
• Transferable Adversarial Attacks on Black-Box Vision-Language Models [63.22532779621001]
  敵対的攻撃は、テキストのみのコンテキストとビジョンのみのコンテキストにおいて、オープンソースからプロプライエタリなブラックボックスモデルに移行することができる。 攻撃者は、特定の攻撃者による視覚情報の解釈を誘導するために、摂動を作れます。 普遍的な摂動 -- 広い範囲のイメージに適用可能な修正 -- は、これらの誤解釈を一貫して引き起こすことを発見した。
  論文  参考訳（メタデータ） (2025-05-02T06:51:11Z)
• Image-based Multimodal Models as Intruders: Transferable Multimodal Attacks on Video-based MLLMs [48.76864299749205]
  ビデオベースの大規模言語モデル(V-MLLM)は、ビデオテキストマルチモーダルタスクにおける逆例の脆弱性を示す。 本稿では,V-MLLM間の対向映像の転送可能性について検討する。
  論文  参考訳（メタデータ） (2025-01-02T03:52:22Z)
• Adversarial Robustness for Visual Grounding of Multimodal Large Language Models [49.71757071535619]
  MLLM(Multi-modal Large Language Models)は近年,様々な視覚言語タスクのパフォーマンス向上を実現している。 MLLMでは、視覚的グラウンドリングの対角的堅牢性は未発見のままである。 本稿では,次の3つの攻撃パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-05-16T10:54:26Z)
• MLLM-Protector: Ensuring MLLM's Safety without Hurting Performance [36.03512474289962]
  本稿では,視覚入力による悪意ある攻撃に対してMLLMを防御する新たな課題について検討する。 画像は、安全アライメントの間に考慮されていない「外国語として機能する」ため、MLLMは有害な反応を生じやすい。 MLLM-Protectorは,1)軽量害検知器による有害応答の同定,2)除毒器による有害応答の無害化という2つのサブタスクを解決するためのプラグアンドプレイ戦略である。
  論文  参考訳（メタデータ） (2024-01-05T17:05:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。