論文の概要: IAG: Input-aware Backdoor Attack on VLMs for Visual Grounding

• arxiv url: http://arxiv.org/abs/2508.09456v1
• Date: Wed, 13 Aug 2025 03:22:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.739604
• Title: IAG: Input-aware Backdoor Attack on VLMs for Visual Grounding
• Title（参考訳）: IAG:ビジュアルグラウンドのためのVLMに対する入力対応バックドア攻撃
• Authors: Junxian Li, Beining Xu, Di Zhang,
• Abstract要約: 視覚言語モデルの接地動作を制御するための新しい入力対応バックドアアタック手法 IAG を提案する。 本稿では,攻撃対象の表現の意味情報を元の画像に埋め込む適応型トリガ生成器を提案する。 IAGは理論的、経験的に評価され、その実現可能性と有効性を示す。
• 参考スコア（独自算出の注目度）: 1.5467349858646384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) have shown significant advancements in tasks such as visual grounding, where they localize specific objects in images based on natural language queries and images. However, security issues in visual grounding tasks for VLMs remain underexplored, especially in the context of backdoor attacks. In this paper, we introduce a novel input-aware backdoor attack method, IAG, designed to manipulate the grounding behavior of VLMs. This attack forces the model to ground a specific target object in the input image, regardless of the user's query. We propose an adaptive trigger generator that embeds the semantic information of the attack target's description into the original image using a text-conditional U-Net, thereby overcoming the open-vocabulary attack challenge. To ensure the attack's stealthiness, we utilize a reconstruction loss to minimize visual discrepancies between poisoned and clean images. Additionally, we introduce a unified method for generating attack data. IAG is evaluated theoretically and empirically, demonstrating its feasibility and effectiveness. Notably, our ASR@0.5 on InternVL-2.5-8B reaches over 65\% on various testing sets. IAG also shows promising potential on manipulating Ferret-7B and LlaVA-1.5-7B with very little accuracy decrease on clean samples. Extensive specific experiments, such as ablation study and potential defense, also indicate the robustness and transferability of our attack.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、自然言語クエリや画像に基づいて、画像中の特定のオブジェクトをローカライズする視覚接地のようなタスクにおいて、大きな進歩を見せている。 しかしながら、VLMの視覚的接地作業におけるセキュリティ問題は、特にバックドアアタックの文脈では未解決のままである。 本稿では,VLMの接地動作を制御するための新しい入力対応バックドアアタック手法 IAG を提案する。 この攻撃は、ユーザーのクエリに関係なく、特定のターゲットオブジェクトを入力画像に接地させる。 テキスト条件付きU-Netを用いて,攻撃対象記述の意味情報を元の画像に埋め込んだ適応型トリガ生成器を提案する。 攻撃のステルス性を確保するため,損傷画像とクリーン画像との視覚的相違を最小限に抑えるために,再建損失を利用する。 さらに,攻撃データを生成する統一手法を提案する。 IAGは理論的、経験的に評価され、その実現可能性と有効性を示す。 特に、InternVL-2.5-8BのASR@0.5は、様々なテストセットで65\%以上に達しています。 IAGはまた、クリーンサンプルの精度は極めて低く、Fereet-7BとLlaVA-1.5-7Bを操作できる有望な可能性を示した。 アブレーション研究や潜在的な防御など、広範囲にわたる特定の実験も、攻撃の堅牢性と伝達性を示している。

関連論文リスト

• Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents [34.286224884047385]
  この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。 この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。 クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
  論文  参考訳（メタデータ） (2025-06-16T08:09:32Z)
• Backdoor Attack on Vision Language Models with Stealthy Semantic Manipulation [32.24294112337828]
  BadSemは、トレーニング中に画像とテキストのペアを意図的に間違えることでバックドアを注入するデータ中毒攻撃だ。 実験の結果,BadSemは平均的ASRの98%以上を達成し,アウト・オブ・ディストリビューション・データセットに最適化し,有害なモダリティをまたいで転送可能であることがわかった。 我々の発見は、より安全なデプロイメントのためにビジョン言語モデルにおけるセマンティックな脆弱性に対処する緊急の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-06-08T16:40:40Z)
• SRD: Reinforcement-Learned Semantic Perturbation for Backdoor Defense in VLMs [57.880467106470775]
  攻撃者は、トレーニングデータに知覚不能な摂動を注入することができ、モデルが悪意のある攻撃的制御されたキャプションを生成する。 本稿では,引き金の事前知識を伴わずにバックドア動作を緩和する強化学習フレームワークであるセマンティック・リワード・ディフェンス(SRD)を提案する。 SRDはDeep Q-Networkを使用して、機密画像領域に個別の摂動を適用するためのポリシーを学習し、悪意ある経路の活性化を妨害することを目的としている。
  論文  参考訳（メタデータ） (2025-06-05T08:22:24Z)
• Effective and Efficient Adversarial Detection for Vision-Language Models via A Single Vector [97.92369017531038]
  Diverse hArmful Responses (RADAR) を用いた新しい laRge-scale Adervsarial 画像データセットを構築した。 そこで我々は,視覚言語モデル (VLM) の隠れ状態から抽出した1つのベクトルを利用して,入力中の良質な画像に対して対向画像を検出する,新しいiN時間埋め込み型AdveRSarial Image Detectction (NEARSIDE) 法を開発した。
  論文  参考訳（メタデータ） (2024-10-30T10:33:10Z)
• Backdoor Attack Against Vision Transformers via Attention Gradient-Based Image Erosion [4.036142985883415]
  ビジョントランスフォーマー(ViT)は、様々なコンピュータビジョンタスクで従来の畳み込みニューラルネットワーク(CNN)を上回っている。 ViTはバックドア攻撃に対して脆弱で、敵がバックドアを被害者のモデルに埋め込む。 Intention Gradient-based Erosion Backdoor (AGEB) を提案する。
  論文  参考訳（メタデータ） (2024-10-30T04:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。