論文の概要: AnyAttack: Towards Large-scale Self-supervised Adversarial Attacks on Vision-language Models

• arxiv url: http://arxiv.org/abs/2410.05346v3
• Date: Fri, 28 Mar 2025 02:55:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:30:17.302311
• Title: AnyAttack: Towards Large-scale Self-supervised Adversarial Attacks on Vision-language Models
• Title（参考訳）: AnyAttack: 視覚言語モデルによる大規模自己教師型敵攻撃を目指して
• Authors: Jiaming Zhang, Junhong Ye, Xingjun Ma, Yige Li, Yunfan Yang, Yunhao Chen, Jitao Sang, Dit-Yan Yeung,
• Abstract要約: VLM(Vision-Language Models)は、画像ベースの敵攻撃に対して脆弱である。 我々は、従来の攻撃の制限を超越した自己教師型フレームワークであるAnyAttackを紹介する。
• 参考スコア（独自算出の注目度）: 39.34959092321762
• License:
• Abstract: Due to their multimodal capabilities, Vision-Language Models (VLMs) have found numerous impactful applications in real-world scenarios. However, recent studies have revealed that VLMs are vulnerable to image-based adversarial attacks. Traditional targeted adversarial attacks require specific targets and labels, limiting their real-world impact.We present AnyAttack, a self-supervised framework that transcends the limitations of conventional attacks through a novel foundation model approach. By pre-training on the massive LAION-400M dataset without label supervision, AnyAttack achieves unprecedented flexibility - enabling any image to be transformed into an attack vector targeting any desired output across different VLMs.This approach fundamentally changes the threat landscape, making adversarial capabilities accessible at an unprecedented scale. Our extensive validation across five open-source VLMs (CLIP, BLIP, BLIP2, InstructBLIP, and MiniGPT-4) demonstrates AnyAttack's effectiveness across diverse multimodal tasks. Most concerning, AnyAttack seamlessly transfers to commercial systems including Google Gemini, Claude Sonnet, Microsoft Copilot and OpenAI GPT, revealing a systemic vulnerability requiring immediate attention.
• Abstract（参考訳）: マルチモーダルな機能のため、VLM(Vision-Language Models)は現実世界のシナリオで多くの影響のあるアプリケーションを発見している。 しかし、最近の研究では、VLMは画像ベースの敵攻撃に弱いことが判明している。 従来の標的攻撃には特定のターゲットとラベルが必要で、実際の影響を制限します。我々は、新しい基礎モデルアプローチを通じて従来の攻撃の制限を超越する、自己監督型のフレームワークであるAnyAttackを紹介します。 ラベルの監督なしに巨大なLAION-400Mデータセットで事前トレーニングを行うことで、AnyAttackは前例のない柔軟性を実現している。任意のイメージを、異なるVLMにわたる望ましい出力をターゲットにしたアタックベクターに変換することができる。このアプローチは、脅威の状況を根本的に変え、前例のない規模で敵の能力にアクセスできるようにする。 我々は,5つのオープンソースVLM(CLIP,BLIP,BLIP2,InstructBLIP,MiniGPT-4)にまたがってAnyAttackの有効性を実証した。 最も重要な点として、AnyAttackはGoogle Gemini、Claude Sonnet、Microsoft Copilot、OpenAI GPTなどの商用システムにシームレスに移行し、すぐに注意を要するシステム脆弱性を明らかにしている。

関連論文リスト

• Effective Black-Box Multi-Faceted Attacks Breach Vision Large Language Model Guardrails [32.627286570942445]
  MultiFaceted Attackは、視覚大言語モデルにおける多層防御をバイパスするために設計されたアタックフレームワークである。 VLLMのマルチモーダルな性質を利用して、画像を通して有害なシステムプロンプトを注入する。 攻撃率は61.56%で、最先端の手法を少なくとも42.18%上回っている。
  論文  参考訳（メタデータ） (2025-02-09T04:21:27Z)
• Exploring Visual Vulnerabilities via Multi-Loss Adversarial Search for Jailbreaking Vision-Language Models [92.79804303337522]
  VLM(Vision-Language Models)は、安全アライメントの問題に対して脆弱である。 本稿では、シナリオ認識画像生成を利用したセマンティックアライメントのための新しいジェイルブレイクフレームワークであるMLAIを紹介する。 大規模な実験はMLAIの重大な影響を示し、MiniGPT-4で77.75%、LLaVA-2で82.80%の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2024-11-27T02:40:29Z)
• White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
  本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。 本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。 様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:13:30Z)
• Adversarial Robustness for Visual Grounding of Multimodal Large Language Models [49.71757071535619]
  MLLM(Multi-modal Large Language Models)は近年,様々な視覚言語タスクのパフォーマンス向上を実現している。 MLLMでは、視覚的グラウンドリングの対角的堅牢性は未発見のままである。 本稿では,次の3つの攻撃パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-05-16T10:54:26Z)
• Revisiting the Adversarial Robustness of Vision Language Models: a Multimodal Perspective [42.04728834962863]
  CLIPのような事前訓練された視覚言語モデル(VLM)は、様々な下流タスクにまたがる例外的な一般化を示している。 近年の研究では、テキストベースおよびマルチモーダル攻撃に対する防御がほとんど未調査のままであり、敵攻撃に対する脆弱性が明らかにされている。 本研究は,画像,テキスト,マルチモーダル入力を標的とした攻撃に対して,VLMの対角的堅牢性を改善するための最初の総合的研究である。
  論文  参考訳（メタデータ） (2024-04-30T06:34:21Z)
• VL-Trojan: Multimodal Instruction Backdoor Attacks against Autoregressive Visual Language Models [65.23688155159398]
  VLM(Autoregressive Visual Language Models)は、マルチモーダルなコンテキストにおいて、驚くべき数ショットの学習機能を示す。 近年,マルチモーダル・インストラクション・チューニングが提案されている。 敵は、指示や画像に埋め込まれたトリガーで有毒なサンプルを注入することで、バックドアを埋め込むことができる。 本稿では,マルチモーダルなバックドア攻撃,すなわちVL-Trojanを提案する。
  論文  参考訳（メタデータ） (2024-02-21T14:54:30Z)
• VLATTACK: Multimodal Adversarial Attacks on Vision-Language Tasks via Pre-trained Models [46.14455492739906]
  VL(Vision-Language)事前訓練モデルは、多くのマルチモーダルタスクにおいて優位性を示している。 既存のアプローチは主に、ホワイトボックス設定下での敵の堅牢性を探究することに焦点を当てている。 本稿では,VLATTACKを用いて,画像とテキストの摂動を単一モードレベルとマルチモードレベルの両方から分離し,対向サンプルを生成する。
  論文  参考訳（メタデータ） (2023-10-07T02:18:52Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。