論文の概要: Image-based Multimodal Models as Intruders: Transferable Multimodal Attacks on Video-based MLLMs

• arxiv url: http://arxiv.org/abs/2501.01042v2
• Date: Fri, 10 Jan 2025 09:21:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:25:33.489906
• Title: Image-based Multimodal Models as Intruders: Transferable Multimodal Attacks on Video-based MLLMs
• Title（参考訳）: 侵入者としてのイメージベースマルチモーダルモデル:ビデオベースMLLMにおけるトランスファー可能なマルチモーダルアタック
• Authors: Linhao Huang, Xue Jiang, Zhiqiang Wang, Wentao Mo, Xi Xiao, Bo Han, Yongjie Yin, Feng Zheng,
• Abstract要約: ビデオベースの大規模言語モデル(V-MLLM)は、ビデオテキストマルチモーダルタスクにおける逆例の脆弱性を示す。 本稿では,V-MLLM間の対向映像の転送可能性について検討する。
• 参考スコア（独自算出の注目度）: 48.76864299749205
• License:
• Abstract: Video-based multimodal large language models (V-MLLMs) have shown vulnerability to adversarial examples in video-text multimodal tasks. However, the transferability of adversarial videos to unseen models--a common and practical real world scenario--remains unexplored. In this paper, we pioneer an investigation into the transferability of adversarial video samples across V-MLLMs. We find that existing adversarial attack methods face significant limitations when applied in black-box settings for V-MLLMs, which we attribute to the following shortcomings: (1) lacking generalization in perturbing video features, (2) focusing only on sparse key-frames, and (3) failing to integrate multimodal information. To address these limitations and deepen the understanding of V-MLLM vulnerabilities in black-box scenarios, we introduce the Image-to-Video MLLM (I2V-MLLM) attack. In I2V-MLLM, we utilize an image-based multimodal model (IMM) as a surrogate model to craft adversarial video samples. Multimodal interactions and temporal information are integrated to disrupt video representations within the latent space, improving adversarial transferability. In addition, a perturbation propagation technique is introduced to handle different unknown frame sampling strategies. Experimental results demonstrate that our method can generate adversarial examples that exhibit strong transferability across different V-MLLMs on multiple video-text multimodal tasks. Compared to white-box attacks on these models, our black-box attacks (using BLIP-2 as surrogate model) achieve competitive performance, with average attack success rates of 55.48% on MSVD-QA and 58.26% on MSRVTT-QA for VideoQA tasks, respectively. Our code will be released upon acceptance.
• Abstract（参考訳）: ビデオベースのマルチモーダル言語モデル(V-MLLM)は、ビデオテキストマルチモーダルタスクにおける逆例に対する脆弱性を示す。 しかし、敵対的ビデオの未知のモデルへの転送可能性 - 一般的な実世界のシナリオ- は未調査のまま残されている。 本稿では,V-MLLM間の対向映像の転送可能性について検討する。 V-MLLMのブラックボックス設定には,(1)摂動映像の特徴の一般化の欠如,(2)疎鍵フレームのみに焦点をあてる,(3)マルチモーダル情報の統合に失敗した,といった欠点がある。 これらの制限に対処し、ブラックボックスシナリオにおけるV-MLLM脆弱性の理解を深めるために、イメージ・トゥ・ビデオ・MLLM(I2V-MLLM)攻撃を導入する。 In I2V-MLLM, we use a image-based multimodal model (IMM) as a surrogate model to craft adversarial video sample。 マルチモーダル相互作用と時間情報は、潜在空間内の映像表現を妨害するために統合され、対向移動性が向上する。 さらに、異なる未知のフレームサンプリング戦略を扱うために摂動伝搬法を導入する。 実験により,複数のビデオテキストマルチモーダルタスクにおいて,異なるV-MLLM間で強い転送可能性を示す逆例を生成できることが実証された。 これらのモデルに対するホワイトボックス攻撃と比較して、我々のブラックボックス攻撃(BLIP-2を代理モデルとして使用)は、MSVD-QAの平均攻撃成功率は55.48%、ビデオQAでは58.26%である。 私たちのコードは受け入れ次第解放されます。

関連論文リスト

• Order Matters: Exploring Order Sensitivity in Multimodal Large Language Models [15.622219099903067]
  マルチモーダル入力の順序を変えることで、モデルの性能が高度な性能とランダムな推測の間で変動することを発見した。 この現象は、単一のモダリティ(テキストのみまたは画像のみ)と混合モダリティ(画像-テキスト-ペア)の両方の文脈に存在する。 MLLM評価における順序バイアスに対処する新しい指標である位置不変精度(PIA)を提案する。
  論文  参考訳（メタデータ） (2024-10-22T13:05:11Z)
• AnyAttack: Targeted Adversarial Attacks on Vision-Language Models toward Any Images [41.044385916368455]
  我々は、ラベル管理なしでビジョンランゲージモデルに対してターゲットとなる敵画像を生成する自己教師型フレームワークであるAnyAttackを提案する。 我々のフレームワークは、大規模LAION-400Mデータセットで事前学習された逆雑音発生器を用いて、事前学習と微調整のパラダイムを採用している。
  論文  参考訳（メタデータ） (2024-10-07T09:45:18Z)
• Failures to Find Transferable Image Jailbreaks Between Vision-Language Models [20.385314634225978]
  視覚およびテキスト入力に条件付けされたテキスト出力を生成する視覚言語モデル(VLM)の一般的なクラスに焦点を当てる。 転送可能な勾配に基づく画像ジェイルブレイクは、取得が極めて困難である。
  論文  参考訳（メタデータ） (2024-07-21T16:27:24Z)
• A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
  LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。 LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。 本稿では,既存のLVLM攻撃の様々な形態について概説する。
  論文  参考訳（メタデータ） (2024-07-10T06:57:58Z)
• Revisiting the Adversarial Robustness of Vision Language Models: a Multimodal Perspective [42.04728834962863]
  CLIPのような事前訓練された視覚言語モデル(VLM)は、様々な下流タスクにまたがる例外的な一般化を示している。 近年の研究では、テキストベースおよびマルチモーダル攻撃に対する防御がほとんど未調査のままであり、敵攻撃に対する脆弱性が明らかにされている。 本研究は,画像,テキスト,マルチモーダル入力を標的とした攻撃に対して,VLMの対角的堅牢性を改善するための最初の総合的研究である。
  論文  参考訳（メタデータ） (2024-04-30T06:34:21Z)
• FMM-Attack: A Flow-based Multi-modal Adversarial Attack on Video-based LLMs [57.59518049930211]
  本稿では,ビデオベース大規模言語モデル (LLM) に適した最初の敵攻撃を提案する。 我々の攻撃は、ビデオに知覚不能な逆方向の摂動を加えると、ビデオベースのLCMを効果的に誘導し、誤った回答を発生させる。 我々のFMM-Attackは、モデル出力のギャンブルを誘導し、ビデオベースのLCMを幻覚させる。
  論文  参考訳（メタデータ） (2024-03-20T11:05:07Z)
• Browse and Concentrate: Comprehending Multimodal Content via prior-LLM Context Fusion [70.9767518332692]
  LLMを事前訓練された視覚モデルに組み込んだマルチモーダル大規模言語モデル(MLLM)は、近年、多様な視覚言語タスクにまたがる印象的なパフォーマンスを実証している。 しかし、複数の画像を含む文脈を理解するには不十分である。 本稿では,2つのフェーズ・パラダイムであるブラウズ・アンド・集中型を提案し,より深いマルチモーダルコンテキスト融合を実現する。
  論文  参考訳（メタデータ） (2024-02-19T14:59:07Z)
• Set-level Guidance Attack: Boosting Adversarial Transferability of Vision-Language Pre-training Models [52.530286579915284]
  本稿では,視覚言語事前学習モデルの対角移動可能性について検討する。 伝達性劣化は、部分的にはクロスモーダル相互作用のアンダーユース化によって引き起こされる。 本稿では,高度に伝達可能なSGA(Set-level Guidance Attack)を提案する。
  論文  参考訳（メタデータ） (2023-07-26T09:19:21Z)
• Cross-Modal Transferable Adversarial Attacks from Images to Videos [82.0745476838865]
  近年の研究では、一方のホワイトボックスモデルで手作りされた敵の例は、他のブラックボックスモデルを攻撃するために使用できることが示されている。 本稿では,イメージ・トゥ・ビデオ(I2V)攻撃と呼ばれる,シンプルだが効果的なクロスモーダル・アタック手法を提案する。 I2Vは、事前訓練された画像モデルの特徴と良質な例とのコサイン類似性を最小化して、対向フレームを生成する。
  論文  参考訳（メタデータ） (2021-12-10T08:19:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。