論文の概要: Jailbreaking Vision-Language Models Through the Visual Modality

• arxiv url: http://arxiv.org/abs/2605.00583v1
• Date: Fri, 01 May 2026 11:43:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.937091
• Title: Jailbreaking Vision-Language Models Through the Visual Modality
• Title（参考訳）: 視覚的モダリティによる視覚境界モデルの脱獄
• Abstract要約: 視覚言語モデルの視覚成分を利用した4つのジェイルブレイク攻撃を導入する。 我々の攻撃は安全アライメントをバイパスし、モダリティ間のアライメントギャップを露呈する。 以上の結果から,堅牢なVLMアライメントは視覚を安全訓練の第一級ターゲットとして扱う必要があることが示唆された。
• 参考スコア（独自算出の注目度）: 16.986459949629126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The visual modality of vision-language models (VLMs) is an underexplored attack surface for bypassing safety alignment. We introduce four jailbreak attacks exploiting the vision component: (1) encoding harmful instructions as visual symbol sequences with a decoding legend, (2) replacing harmful objects with benign substitutes (e.g., bomb -> banana) then prompting for harmful actions using the substitute term, (3) replacing harmful text in images (e.g., on book covers) with benign words while visual context preserves the original meaning, and (4) visual analogy puzzles whose solution requires inferring a prohibited concept. Evaluating across six frontier VLMs, our visual attacks bypass safety alignment and expose a cross-modality alignment gap: text-based safety training does not automatically generalize to harmful intent conveyed visually. For example, our visual cipher achieves 40.9% attack success on Claude-Haiku-4.5 versus 10.7% for an equivalent textual cipher. To further our insight into the attack mechanism, we present preliminary interpretability and mitigation results. These findings highlight that robust VLM alignment requires treating vision as a first-class target for safety post-training.
• Abstract（参考訳）: 視覚言語モデルの視覚的モダリティ(VLM)は、安全アライメントをバイパスするための未探索の攻撃面である。 視覚成分を利用したジェイルブレイク攻撃は,(1) 視覚的シンボルシーケンスを復号伝説で符号化する,(2) 有害物体を良心的代名詞(例えば爆弾 ->バナナ)に置き換える,(3) 有害テキストを良心的単語で置き換える,(3) 視覚的コンテキストで本来の意味を記憶する,(4) 禁止概念の推論を必要とする視覚的類似パズルの4つを導入している。 テキストベースの安全性トレーニングは、視覚的に伝達される有害な意図に自動的に一般化するものではない。 例えば、我々の視覚暗号はクロード・ハイク4.5に対して40.9%の攻撃成功を達成するが、同等のテキスト暗号では10.7%である。 攻撃機構に関する洞察を深めるために,予備的解釈可能性と緩和効果を示す。 以上の結果から,堅牢なVLMアライメントは視覚を安全訓練の第一級ターゲットとして扱う必要があることが示唆された。

関連論文リスト

• Visual Self-Fulfilling Alignment: Shaping Safety-Oriented Personas via Threat-Related Images [15.316817046650208]
  マルチモーダルな大言語モデル(MLLM)は、視覚的な入力が有害な出力を可能にする、安全性のミスアライメントに直面している。 創発的不整合に基づく自己充満機構に着想を得て,視覚自己充満アライメント(VSFA)を提案する。 VSFAファイントゥネス視覚言語モデル(VLM)は、脅威関連画像を中心に構築された中立的なVQAタスクにおいて、安全ラベルを含まない。
  論文  参考訳（メタデータ） (2026-03-09T15:20:53Z)
• Invisible Safety Threat: Malicious Finetuning for LLM via Steganography [74.00809267925642]
  妥協された大きな言語モデルは、有害なコンテンツを隠蔽しながら適切な安全アライメントのファサードを維持することができる。 OpenAIファインタニングAPIの保護にもかかわらず、GPT-4.1のこの目に見えない安全脅威を実証する。 本稿では,コンテンツ安全分類のためのLlama-Guard-3-8Bを用いて,AdvBenchデータセット上での手法を定量的に評価する。
  論文  参考訳（メタデータ） (2026-03-09T08:48:27Z)
• VII: Visual Instruction Injection for Jailbreaking Image-to-Video Generation Models [57.128876964730644]
  参照画像に映像生成を条件付けるI2V(Image-to-Video)生成モデルは、新たな視覚的指示追従能力を示す。 安全でないテキストプロンプトの悪意ある意図を、安全な参照画像の良心的な視覚的指示として偽装する、トレーニング不要で移動可能なジェイルブレイクフレームワークであるVisual Instruction Injection (VII)を提案する。 VIIは最大83.5%のアタック成功率を達成し、拒絶率をほぼゼロに抑え、既存のベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2026-02-24T15:20:01Z)
• Multi-Faceted Attack: Exposing Cross-Model Vulnerabilities in Defense-Equipped Vision-Language Models [54.61181161508336]
  MFA(Multi-Faceted Attack)は、防衛装備型ビジョンランゲージモデル(VLM)の一般的な安全性上の脆弱性を明らかにするフレームワークである。 MFAの中核となるコンポーネントはアテンション・トランスファー・アタック(ATA)であり、競合する目的を持ったメタタスク内に有害な命令を隠す。 MFAは58.5%の成功率を獲得し、既存の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-11-20T07:12:54Z)
• VEIL: Jailbreaking Text-to-Video Models via Visual Exploitation from Implicit Language [25.38940067963429]
  テキスト・ツー・ビデオ(T2V)モデルに対する以前の攻撃は、通常、明らかに安全でないプロンプトに敵の摂動を追加する。 我々は、リッチで暗黙的な手がかりを含む良心的なプロンプトがT2Vモデルを誘導し、セマンティックなアンセーフなビデオを生成することを示した。 本稿では,モジュール型プロンプト設計により,T2Vモデルの相互関連パターンを活用するジェイルブレイクフレームワークVEILを提案する。
  論文  参考訳（メタデータ） (2025-11-17T08:31:43Z)
• Visual Contextual Attack: Jailbreaking MLLMs with Image-Driven Context Injection [31.1604742796343]
  マルチモーダルな大規模言語モデル(MLLM)は、現実世界のアプリケーションにとって大きな可能性を実証している。 視覚的モダリティによって示されたセキュリティ脆弱性は、そのようなモデルをオープンな環境にデプロイする上で重大な課題となる。 視覚中心のジェイルブレイクコンテキストを構築する上で,視覚情報が必要なコンポーネントとして機能する視覚的コンテキストアタックを提案する。
  論文  参考訳（メタデータ） (2025-07-03T17:53:12Z)
• TrojVLM: Backdoor Attack Against Vision Language Models [50.87239635292717]
  本研究では、視覚言語モデル(VLM)を対象としたバックドアアタックの最初の調査であるTrojVLMを紹介する。 TrojVLMは、有毒な画像に遭遇したとき、所定のターゲットテキストを出力テキストに挿入する。 画像内容のセマンティックな整合性を確保するために,新たなセマンティック保存損失を提案する。
  論文  参考訳（メタデータ） (2024-09-28T04:37:09Z)
• Jailbreak Vision Language Models via Bi-Modal Adversarial Prompt [60.54666043358946]
  本稿では,テキストと視覚のプロンプトを協調的に最適化することにより,ジェイルブレイクを実行するバイモーダル・アドバイサル・プロンプト・アタック(BAP)を提案する。 特に,大規模言語モデルを用いてジェイルブレイクの失敗を分析し,テキストのプロンプトを洗練させるために連鎖推論を採用する。
  論文  参考訳（メタデータ） (2024-06-06T13:00:42Z)
• White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
  本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。 本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。 様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:13:30Z)
• ImgTrojan: Jailbreaking Vision-Language Models with ONE Image [37.80216561793555]
  視覚言語モデル(VLM)に対する新しいジェイルブレイク攻撃を提案する。 トレーニングデータに有毒な(画像、テキスト)データペアを含めるシナリオが想定されます。 原文のキャプションを悪意のあるジェイルブレイクプロンプトに置き換えることにより、この手法は毒画像を用いてジェイルブレイク攻撃を行うことができる。
  論文  参考訳（メタデータ） (2024-03-05T12:21:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。