論文の概要: Doubly-Universal Adversarial Perturbations: Deceiving Vision-Language Models Across Both Images and Text with a Single Perturbation

• arxiv url: http://arxiv.org/abs/2412.08108v2
• Date: Thu, 19 Dec 2024 05:01:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:28:48.495971
• Title: Doubly-Universal Adversarial Perturbations: Deceiving Vision-Language Models Across Both Images and Text with a Single Perturbation
• Title（参考訳）: 二重対外対角摂動:単一摂動による画像とテキスト間の視覚・言語モデルの決定
• Authors: Hee-Seon Kim, Minbeom Kim, Changick Kim,
• Abstract要約: VLM(Large Vision-Language Models)は、視覚エンコーダとLLM(Large Language Model)を統合することで、マルチモーダルタスクにまたがる顕著な性能を示す。 VLMに特化して設計された新しいUAPについて紹介する:Douubly-Universal Adversarial Perturbation (Douubly-UAP)
• 参考スコア（独自算出の注目度）: 15.883062174902093
• License:
• Abstract: Large Vision-Language Models (VLMs) have demonstrated remarkable performance across multimodal tasks by integrating vision encoders with large language models (LLMs). However, these models remain vulnerable to adversarial attacks. Among such attacks, Universal Adversarial Perturbations (UAPs) are especially powerful, as a single optimized perturbation can mislead the model across various input images. In this work, we introduce a novel UAP specifically designed for VLMs: the Doubly-Universal Adversarial Perturbation (Doubly-UAP), capable of universally deceiving VLMs across both image and text inputs. To successfully disrupt the vision encoder's fundamental process, we analyze the core components of the attention mechanism. After identifying value vectors in the middle-to-late layers as the most vulnerable, we optimize Doubly-UAP in a label-free manner with a frozen model. Despite being developed as a black-box to the LLM, Doubly-UAP achieves high attack success rates on VLMs, consistently outperforming baseline methods across vision-language tasks. Extensive ablation studies and analyses further demonstrate the robustness of Doubly-UAP and provide insights into how it influences internal attention mechanisms.
• Abstract（参考訳）: VLM(Large Vision-Language Models)は、視覚エンコーダとLLM(Large Language Model)を統合することで、マルチモーダルタスクにまたがる顕著な性能を示す。 しかし、これらのモデルは敵の攻撃に弱いままである。 このような攻撃の中で、Universal Adversarial Perturbations (UAP) は特に強力であり、単一の最適化された摂動は様々な入力画像間でモデルを誤解させる可能性がある。 本稿では,VLM に特化して設計された新しい UAP について紹介する: 両画像およびテキストの入力に対して VLM を普遍的に決定できる 二重・普遍的摂動 (Dubly-Universal Adversarial Perturbation) (Dubly-UAP) である。 視覚エンコーダの基本プロセスの破壊に成功するために,注意機構のコアコンポーネントを解析する。 中間層から後期層までの値ベクトルを最も脆弱なものとして同定した後、凍結モデルを用いてラベルフリーでDouubly-UAPを最適化する。 LLMのブラックボックスとして開発されたにもかかわらず、Dubly-UAPはVLMに対して高い攻撃成功率を達成し、視覚言語タスクのベースラインメソッドを一貫して上回っている。 広範囲にわたるアブレーション研究と分析は、Double-UAPの堅牢性をさらに証明し、それが内部の注意機構にどのように影響するかについての洞察を提供する。

関連論文リスト

• Robust-LLaVA: On the Effectiveness of Large-Scale Robust Image Encoders for Multi-modal Large Language Models [26.656858396343726]
  MLLM(Multi-modal Large Language Models)は、視覚言語タスクにおいて優れているが、視覚的逆境の摂動に弱いままである。 既存の手法では、ImageNet-scaleデータ上でCLIPビジョンエンコーダに制約付き逆調整を適用することにより、これらのリスクを軽減する方法が提案されている。 本稿では,大規模データに対して逆向きに事前学習された既存の視覚分類モデルを活用する方法を提案する。
  論文  参考訳（メタデータ） (2025-02-03T17:59:45Z)
• Interpretable Face Anti-Spoofing: Enhancing Generalization with Multimodal Large Language Models [58.936893810674896]
  顔認識システムのセキュリティと信頼性を確保するためには,FAS(Face Anti-Spoofing)が不可欠である。 I-FAS(Interpretable Face Anti-Spoofing)と呼ばれるFASのためのマルチモーダルな大規模言語モデルフレームワークを提案する。 本稿では,FAS画像の高品質なキャプションを生成するために,Spof-Aware Captioning and Filtering(SCF)戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-03T09:25:04Z)
• AnyAttack: Targeted Adversarial Attacks on Vision-Language Models toward Any Images [41.044385916368455]
  我々は、ラベル管理なしでビジョンランゲージモデルに対してターゲットとなる敵画像を生成する自己教師型フレームワークであるAnyAttackを提案する。 我々のフレームワークは、大規模LAION-400Mデータセットで事前学習された逆雑音発生器を用いて、事前学習と微調整のパラダイムを採用している。
  論文  参考訳（メタデータ） (2024-10-07T09:45:18Z)
• A Unified Understanding of Adversarial Vulnerability Regarding Unimodal Models and Vision-Language Pre-training Models [7.350203999073509]
  FGA(Feature Guidance Attack)は、テキスト表現を用いてクリーンな画像の摂動を誘導する新しい手法である。 提案手法は, 各種データセット, 下流タスク, ブラックボックスとホワイトボックスの両方で, 安定かつ効果的な攻撃能力を示す。
  論文  参考訳（メタデータ） (2024-07-25T06:10:33Z)
• One Perturbation is Enough: On Generating Universal Adversarial Perturbations against Vision-Language Pre-training Models [47.14654793461]
  クロスモーダル条件 (C-PGC) を備えたコントラスト学習型摂動発電機を提案する。 C-PGCは、効果的なガイダンスとして、一方的な情報と横断的な情報の両方を取り入れている。 実験の結果、C-PGCは敵のサンプルを元の領域から遠ざけることに成功した。
  論文  参考訳（メタデータ） (2024-06-08T15:01:54Z)
• Machine Vision Therapy: Multimodal Large Language Models Can Enhance Visual Robustness via Denoising In-Context Learning [67.0609518552321]
  本稿では,視覚モデルからノイズ予測を補正するマシンビジョンセラピーを提案する。 復調ラベルを微調整することにより、教師なしの方法で学習モデルの性能を高めることができる。
  論文  参考訳（メタデータ） (2023-12-05T07:29:14Z)
• Set-level Guidance Attack: Boosting Adversarial Transferability of Vision-Language Pre-training Models [52.530286579915284]
  本稿では,視覚言語事前学習モデルの対角移動可能性について検討する。 伝達性劣化は、部分的にはクロスモーダル相互作用のアンダーユース化によって引き起こされる。 本稿では,高度に伝達可能なSGA(Set-level Guidance Attack)を提案する。
  論文  参考訳（メタデータ） (2023-07-26T09:19:21Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)
• Learning to Generate Image Source-Agnostic Universal Adversarial Perturbations [65.66102345372758]
  普遍対向摂動(UAP)は複数の画像を同時に攻撃することができる。 既存のUAPジェネレータは、画像が異なる画像ソースから描画される際には未開発である。 数発の学習をカスタマイズした例として,UAP生成の新たな視点を考察する。
  論文  参考訳（メタデータ） (2020-09-29T01:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。