論文の概要: Attention! You Vision Language Model Could Be Maliciously Manipulated

• arxiv url: http://arxiv.org/abs/2505.19911v1
• Date: Mon, 26 May 2025 12:38:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.423322
• Title: Attention! You Vision Language Model Could Be Maliciously Manipulated
• Title（参考訳）: 注意! ヴィジュアライゼーションの言語モデルが悪用されるかもしれない
• Authors: Xiaosen Wang, Shaokang Wang, Zhijin Ge, Yuyang Luo, Shudong Zhang,
• Abstract要約: 視覚言語モデルマニピュレーションアタック(VMA)を提案する。 VMAは、対向摂動を効果的に最適化するために、一階と二階の運動量最適化技術と微分可能な変換機構を統合する。 脱獄、ハイジャック、プライバシー侵害、Denial-of-Service、スポンジの生成など、さまざまな攻撃を実装するために利用することができる。
• 参考スコア（独自算出の注目度）: 5.504125658123538
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision-Language Models (VLMs) have achieved remarkable success in understanding complex real-world scenarios and supporting data-driven decision-making processes. However, VLMs exhibit significant vulnerability against adversarial examples, either text or image, which can lead to various adversarial outcomes, e.g., jailbreaking, hijacking, and hallucination, etc. In this work, we empirically and theoretically demonstrate that VLMs are particularly susceptible to image-based adversarial examples, where imperceptible perturbations can precisely manipulate each output token. To this end, we propose a novel attack called Vision-language model Manipulation Attack (VMA), which integrates first-order and second-order momentum optimization techniques with a differentiable transformation mechanism to effectively optimize the adversarial perturbation. Notably, VMA can be a double-edged sword: it can be leveraged to implement various attacks, such as jailbreaking, hijacking, privacy breaches, Denial-of-Service, and the generation of sponge examples, etc, while simultaneously enabling the injection of watermarks for copyright protection. Extensive empirical evaluations substantiate the efficacy and generalizability of VMA across diverse scenarios and datasets.
• Abstract（参考訳）: VLM(Large Vision-Language Models)は、複雑な現実世界のシナリオを理解し、データ駆動による意思決定プロセスをサポートすることで、大きな成功を収めています。 しかしながら、VLMは、テキストまたは画像のいずれかの敵の例に対して重大な脆弱性を示しており、これは、例えば、ジェイルブレイク、ハイジャック、幻覚など、様々な敵の成果をもたらす可能性がある。 本研究では,VLMが画像ベースの逆数例に特に感受性があることを実証的・理論的に実証し,各出力トークンを正確に操作できることを示す。 そこで本研究では, 1次・2次運動量最適化技術と可変変換機構を統合し, 対向的摂動を効果的に最適化する, 視覚言語モデルマニピュレーションアタック(VMA)と呼ばれる新たな攻撃手法を提案する。 脱獄、ハイジャック、プライバシー侵害、Denial-of-Service、スポンジの例の生成など、さまざまな攻撃を同時に実施することが可能であり、同時に著作権保護のための透かしの注入を可能にする。 大規模な経験的評価は、さまざまなシナリオやデータセットにわたるVMAの有効性と一般化性を裏付けるものだ。

関連論文リスト

• Transferable Adversarial Attacks on Black-Box Vision-Language Models [63.22532779621001]
  敵対的攻撃は、テキストのみのコンテキストとビジョンのみのコンテキストにおいて、オープンソースからプロプライエタリなブラックボックスモデルに移行することができる。 攻撃者は、特定の攻撃者による視覚情報の解釈を誘導するために、摂動を作れます。 普遍的な摂動 -- 広い範囲のイメージに適用可能な修正 -- は、これらの誤解釈を一貫して引き起こすことを発見した。
  論文  参考訳（メタデータ） (2025-05-02T06:51:11Z)
• Doubly-Universal Adversarial Perturbations: Deceiving Vision-Language Models Across Both Images and Text with a Single Perturbation [15.883062174902093]
  VLM(Large Vision-Language Models)は、視覚エンコーダとLLM(Large Language Model)を統合することで、マルチモーダルタスクにまたがる顕著な性能を示す。 VLMに特化して設計された新しいUAPについて紹介する:Douubly-Universal Adversarial Perturbation (Douubly-UAP)
  論文  参考訳（メタデータ） (2024-12-11T05:23:34Z)
• AnyAttack: Towards Large-scale Self-supervised Adversarial Attacks on Vision-language Models [39.34959092321762]
  VLM(Vision-Language Models)は、画像ベースの敵攻撃に対して脆弱である。 我々は、従来の攻撃の制限を超越した自己教師型フレームワークであるAnyAttackを紹介する。
  論文  参考訳（メタデータ） (2024-10-07T09:45:18Z)
• White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
  本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。 本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。 様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:13:30Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• Set-level Guidance Attack: Boosting Adversarial Transferability of Vision-Language Pre-training Models [52.530286579915284]
  本稿では,視覚言語事前学習モデルの対角移動可能性について検討する。 伝達性劣化は、部分的にはクロスモーダル相互作用のアンダーユース化によって引き起こされる。 本稿では,高度に伝達可能なSGA(Set-level Guidance Attack)を提案する。
  論文  参考訳（メタデータ） (2023-07-26T09:19:21Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。