論文の概要: Every Picture Tells a Dangerous Story: Memory-Augmented Multi-Agent Jailbreak Attacks on VLMs

• arxiv url: http://arxiv.org/abs/2604.12616v1
• Date: Tue, 14 Apr 2026 11:44:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.415696
• Title: Every Picture Tells a Dangerous Story: Memory-Augmented Multi-Agent Jailbreak Attacks on VLMs
• Title（参考訳）: 記憶を増したマルチエージェントの脱獄事件がVLMで発生
• Authors: Jianhao Chen, Haoyang Chen, Hanjie Zhao, Haozhe Liang, Tieyun Qian,
• Abstract要約: マルチモーダル・ジェイルブレイク戦略は 視覚データに固有の 複雑な意味構造に 関与できない textbfMemJackは、視覚的セマンティクスを明示的に活用して自動ジェイルブレイク攻撃を組織化するフレームワークである。 MemJackはQwen3-VL-Plusに対して71.48%のASRを達成した。
• 参考スコア（独自算出の注目度）: 19.511422290404138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid evolution of Vision-Language Models (VLMs) has catalyzed unprecedented capabilities in artificial intelligence; however, this continuous modal expansion has inadvertently exposed a vastly broadened and unconstrained adversarial attack surface. Current multimodal jailbreak strategies primarily focus on surface-level pixel perturbations and typographic attacks or harmful images; however, they fail to engage with the complex semantic structures intrinsic to visual data. This leaves the vast semantic attack surface of original, natural images largely unscrutinized. Driven by the need to expose these deep-seated semantic vulnerabilities, we introduce \textbf{MemJack}, a \textbf{MEM}ory-augmented multi-agent \textbf{JA}ilbreak atta\textbf{CK} framework that explicitly leverages visual semantics to orchestrate automated jailbreak attacks. MemJack employs coordinated multi-agent cooperation to dynamically map visual entities to malicious intents, generate adversarial prompts via multi-angle visual-semantic camouflage, and utilize an Iterative Nullspace Projection (INLP) geometric filter to bypass premature latent space refusals. By accumulating and transferring successful strategies through a persistent Multimodal Experience Memory, MemJack maintains highly coherent extended multi-turn jailbreak attack interactions across different images, thereby improving the attack success rate (ASR) on new images. Extensive empirical evaluations across full, unmodified COCO val2017 images demonstrate that MemJack achieves a 71.48\% ASR against Qwen3-VL-Plus, scaling to 90\% under extended budgets. Furthermore, to catalyze future defensive alignment research, we will release \textbf{MemJack-Bench}, a comprehensive dataset comprising over 113,000 interactive multimodal jailbreak attack trajectories, establishing a vital foundation for developing inherently robust VLMs.
• Abstract（参考訳）: VLM(Vision-Language Models)の急速な進化は、人工知能における前例のない能力を触媒してきたが、この連続的な拡張は必然的に、広範囲に拡張され、制約のない敵の攻撃面を露出させた。 現在のマルチモーダルジェイルブレイク戦略は、主に表面レベルのピクセル摂動とタイポグラフィー攻撃または有害な画像に焦点を当てているが、視覚データに固有の複雑な意味構造に関わらない。 これにより、元々の自然画像の巨大なセマンティックアタックサーフェスは、ほとんど精査されていない。 このような深いセマンティックな脆弱性を公開する必要性から、自動ジェイルブレイク攻撃のオーケストレーションに視覚的セマンティクスを明示的に活用する、‘textbf{MemJack}, a \textbf{MEM}ory-augmented multi-agent \textbf{JA}ilbreak atta\textbf{CK} frameworkを紹介します。 MemJackは、視覚的実体を悪質な意図に動的にマッピングし、多角的な視覚的セマンティック・カモフラージュを介して敵のプロンプトを生成し、未熟な潜伏空間の拒絶を回避するために、Iterative Nullspace Projection (INLP)幾何フィルタを使用する。 永続的なマルチモーダル体験メモリを通じて成功した戦略を蓄積し、転送することで、MemJackは異なる画像間で高度に一貫性のある拡張されたマルチターンジェイルブレイク攻撃相互作用を維持し、新しい画像に対する攻撃成功率(ASR)を向上させる。 フル修正されていないCOCO val2017イメージに対する大規模な実験的な評価は、MemJackがQwen3-VL-Plusに対して71.48\%のASRを達成したことを示している。 さらに,今後の防衛アライメント研究の触媒として,113,000以上の対話型マルチモーダルジェイルブレイク攻撃トラジェクトリからなる包括的データセットである「textbf{MemJack-Bench}」を公開し,本質的に堅牢なVLMを開発する上で不可欠な基盤を確立する。

関連論文リスト

• Robustness of Vision Language Models Against Split-Image Harmful Input Attacks [4.937150501683971]
  VLM(Vision-Language Models)は現在、現代AIの中核部分となっている。 最近の研究では、単一/全体像を用いた視覚的ジェイルブレイク攻撃が提案されている。 本稿では,この誤認識を生かした新しい分割画像視覚ジェイルブレイク攻撃(SIVA)を提案する。
  論文  参考訳（メタデータ） (2026-02-08T21:52:42Z)
• SEMA: Simple yet Effective Learning for Multi-Turn Jailbreak Attacks [53.97948802255959]
  本稿では,既存の戦略や外部データに頼ることなく,マルチターン攻撃者を訓練するフレームワークを提案する。 準備された自己調整は、非拒否的で、よく構造化された、多ターンの逆のプロンプトを微調整することで、使用可能なロールアウトを可能にする。 私たちは、意図の整合性、コンプライアンスリスク、詳細レベルを組み合わせたインテントドリフト対応の報酬を通じて、多ターンジェイルブレイクにおける有害な意図を保ちます。
  論文  参考訳（メタデータ） (2026-02-06T16:44:57Z)
• RAM++: Robust Representation Learning via Adaptive Mask for All-in-One Image Restoration [94.49712266736141]
  RAM++はオールインワンイメージ復元のための2段階のフレームワークである。 高レベルのセマンティック理解と低レベルのテクスチャ生成を統合する。 極端なシナリオでは、既存の劣化指向のメソッドの制限に対処します。
  論文  参考訳（メタデータ） (2025-09-15T15:24:15Z)
• GRAF: Multi-turn Jailbreaking via Global Refinement and Active Fabrication [55.63412213263305]
  大規模言語モデルは、悪意のある目的のために誤用される可能性があるため、顕著な安全性のリスクを生じさせる。 そこで本研究では,各インタラクションにおける攻撃経路をグローバルに洗練する,新しいマルチターンジェイルブレーキング手法を提案する。 さらに、モデル応答を積極的に作成し、安全性に関する警告を抑えることにより、有害な出力を誘発する可能性を高める。
  論文  参考訳（メタデータ） (2025-06-22T03:15:05Z)
• Implicit Jailbreak Attacks via Cross-Modal Information Concealment on Vision-Language Models [20.99874786089634]
  以前のジェイルブレイク攻撃は、しばしば悪意のある命令をテキストから視覚など、整合性の低いモダリティに注入する。 IJAと呼ばれる新しい暗黙のジェイルブレイクフレームワークを提案し、少なくとも重要なビットステガノグラフィーによって悪意ある命令を画像に密かに埋め込む。 GPT-4o や Gemini-1.5 Pro などの商用モデルでは,攻撃成功率は90% 以上で,平均 3 クエリのみを用いて達成している。
  論文  参考訳（メタデータ） (2025-05-22T09:34:47Z)
• Securing Vision-Language Models with a Robust Encoder Against Jailbreak and Adversarial Attacks [0.0]
  LVLM(Large Vision-Language Models)は、視覚言語タスクに優れたAIである。 ジェイルブレイクは安全プロトコルをバイパスし、モデルが誤解を招くまたは有害な応答を発生させる。 シームズアーキテクチャを利用してCLIPビジョンエンコーダを逆さまに微調整する新しい防御機構であるSim-CLIP+を提案する。
  論文  参考訳（メタデータ） (2024-09-11T15:39:42Z)
• Jailbreak Vision Language Models via Bi-Modal Adversarial Prompt [60.54666043358946]
  本稿では,テキストと視覚のプロンプトを協調的に最適化することにより,ジェイルブレイクを実行するバイモーダル・アドバイサル・プロンプト・アタック(BAP)を提案する。 特に,大規模言語モデルを用いてジェイルブレイクの失敗を分析し,テキストのプロンプトを洗練させるために連鎖推論を採用する。
  論文  参考訳（メタデータ） (2024-06-06T13:00:42Z)
• White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
  本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。 本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。 様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:13:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。