論文の概要: A Cross-Modal Prompt Injection Attack against Large Vision-Language Models with Image-Only Perturbation

• arxiv url: http://arxiv.org/abs/2605.16090v1
• Date: Fri, 15 May 2026 15:47:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 17:44:16.348708
• Title: A Cross-Modal Prompt Injection Attack against Large Vision-Language Models with Image-Only Perturbation
• Title（参考訳）: 画像のみの摂動を伴う大規模視覚言語モデルに対するクロスモーダル・プロンプト・インジェクション攻撃
• Authors: Hao Yang, Zhuo Ma, Yang Liu, Yilong Yang, Guancheng Wang, JianFeng Ma,
• Abstract要約: 大規模視覚言語モデル(LVLM)はマルチモーダルインテリジェンスのための強力なパラダイムとして登場した。 新たなクロスモーダルインジェクション攻撃CrossMPIを導入する。 私たちのデザインは、以下の重要なブレークスルーによって支えられています。
• 参考スコア（独自算出の注目度）: 14.191447589526796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large vision-language models (LVLMs) have emerged as a powerful paradigm for multimodal intelligence, but their growing deployment also expands the attack surface of prompt injection. Despite this growing concern, existing attacks still suffer from a critical limitation: the injected prompt for one modality only steers the model's interpretation of that singular input. Alternatively, these attacks remain multimodal but fail to achieve cross-modal prompt perturbation. To bridge this gap, we introduce a novel cross-modal prompt injection attack CrossMPI, which can steer the model's interpretation of both textual and visual inputs via image-only prompt injection. Our design is underpinned by the following key breakthroughs. First, we turn the focus of the injected prompt perturbation optimization from the visual embedding space (typically with only $10^5$ parameters) to the model hidden state space (for multimodal information integration and with $10^7$ parameters). Then, two strategies are adopted to mitigate the optimization challenges posed by the larger parameter space. To constrain the optimized model parameter space, we introduce a layer selection strategy that identifies the layers most critical to multimodal integration. Interestingly, deviating from the past experience, our analysis reveals that the optimal layers for LVLM prompt perturbation reside in the middle of the model rather than the last. To constrain the image perturbation space, we propose a new distance-decremental perturbation budget assignment strategy that allocates budgets decrementally as the pixel distance to semantic-critical regions increases. Extensive experiments across multiple LVLMs and datasets show that our method significantly outperforms baseline approaches.
• Abstract（参考訳）: 大規模視覚言語モデル (LVLM) はマルチモーダルインテリジェンスのための強力なパラダイムとして登場したが、その展開は即発注入の攻撃面も拡大している。 このような懸念にもかかわらず、既存の攻撃は致命的な制限に悩まされている: 1つのモダリティに対するインジェクトされたプロンプトは、その特異な入力に対するモデルの解釈を操縦するのみである。 あるいは、これらの攻撃はマルチモーダルのままだが、クロスモーダルな急激な摂動を達成できない。 このギャップを埋めるために,クロスモーダル・プロンプト・インジェクション・アタック(CrossMPI)を導入した。 私たちのデザインは、以下の重要なブレークスルーによって支えられています。 まず、インジェクトされたプロンプト摂動最適化の焦点を、視覚埋め込み空間(典型的には10^5$パラメータのみ)からモデル隠れ状態空間(マルチモーダル情報統合と10^7$パラメータ)に向ける。 次に、より大きなパラメータ空間によって生じる最適化の課題を軽減するために、2つの戦略が採用される。 最適化されたモデルパラメータ空間を制約するために、マルチモーダル統合に最も重要となるレイヤを識別する層選択戦略を導入する。 興味深いことに、過去の経験から逸脱して、LVLMの急激な摂動の最適層が最終層ではなくモデルの中央にあることが明らかとなった。 画像の摂動空間を制約するために,画素距離の増大と意味クリティカル領域の増大を両立させる新たな距離減少型摂動予算割り当て戦略を提案する。 複数のLVLMおよびデータセットにわたる大規模な実験により,本手法がベースラインアプローチを著しく上回ることを示す。

関連論文リスト

• Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
  単眼画像からの空間的推論は 自律運転には不可欠です 現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。 本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T02:05:12Z)
• Multi-Paradigm Collaborative Adversarial Attack Against Multi-Modal Large Language Models [67.45032003041399]
  本稿では,MLLMに対する敵例の転送可能性を高めるために,MPCAttack(Multi-Paradigm Collaborative Attack)フレームワークを提案する。 MPCOは異なるパラダイム表現の重要性を適応的にバランスさせ、グローバルな最適化を導く。 我々のソリューションは、オープンソースおよびクローズドソースMLLMに対する標的および未ターゲットの攻撃において、常に最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2026-03-05T06:01:26Z)
• Understanding and Enhancing Encoder-based Adversarial Transferability against Large Vision-Language Models [19.899086203883254]
  大規模視覚言語モデル (LVLM) は、マルチモーダルタスクで顕著な成功を収めた。 視覚的な入力への依存は、大きな敵の脅威に晒される。 既存のエンコーダベースの攻撃は、LVLM全体ではなく、視覚エンコーダのみに最適化することで、入力画像を摂動させる。 本研究は,LVLMにおけるエンコーダを用いた対向転送性に関する最初の体系的研究である。
  論文  参考訳（メタデータ） (2026-02-10T05:51:02Z)
• Enhancing Adversarial Transferability in Visual-Language Pre-training Models via Local Shuffle and Sample-based Attack [6.190046662134303]
  ローカルシャッフルとサンプルベースアタック(LSSA)という新たな攻撃法を提案する。 LSSAはローカル画像ブロックの1つをランダムにシャッフルし、元の画像テキストペアを拡張し、逆画像を生成し、それらをサンプリングする。 複数のモデルとデータセットの実験により、LSSAはマルチモーダル逆数例の転送可能性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-11-02T06:55:49Z)
• Multi-Agent Path Finding in Continuous Spaces with Projected Diffusion Models [57.45019514036948]
  MAPF(Multi-Agent Path Finding)は、ロボット工学における基本的な問題である。 連続空間におけるMAPFの拡散モデルと制約付き最適化を統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-23T21:27:19Z)
• Adversarial Robustness for Visual Grounding of Multimodal Large Language Models [49.71757071535619]
  MLLM(Multi-modal Large Language Models)は近年,様々な視覚言語タスクのパフォーマンス向上を実現している。 MLLMでは、視覚的グラウンドリングの対角的堅牢性は未発見のままである。 本稿では,次の3つの攻撃パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-05-16T10:54:26Z)
• Perturbing Across the Feature Hierarchy to Improve Standard and Strict Blackbox Attack Transferability [100.91186458516941]
  我々は、ディープニューラルネットワーク(DNN)画像分類器の領域におけるブラックボックス転送に基づく敵攻撃脅威モデルを検討する。 我々は,多層摂動が可能なフレキシブルアタックフレームワークを設計し,最先端のターゲット転送性能を示す。 提案手法が既存の攻撃戦略より優れている理由を解析し,ブラックボックスモデルに対する限られたクエリが許された場合に,メソッドの拡張を示す。
  論文  参考訳（メタデータ） (2020-04-29T16:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。