論文の概要: Once Poisoned, Arbitrarily Controlled: A Programmable Backdoor in VLMs
- arxiv url: http://arxiv.org/abs/2608.10959v1
- Date: Tue, 11 Aug 2026 14:25:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:46.071804
- Title: Once Poisoned, Arbitrarily Controlled: A Programmable Backdoor in VLMs
- Title(参考訳): VLMのプログラム可能なバックドア
- Abstract要約: 視覚言語モデル(VLM)のバックドアは通常静的脆弱性として扱われる。
プログラム可能なバックドアをVLMに埋め込むことができる。
任意のキャプション制御パラダイムの提案は、トレーニング後の標的選択を中毒から切り離す。
- 参考スコア(独自算出の注目度): 23.18705886598491
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing vision-language model (VLM) backdoors are usually treated as static vulnerabilities: one-to-one and N-to-N attacks bind one or more triggers to a finite set of targets before victim training. This assumption substantially underestimates the threat. We show that a single poisoning phase can implant a programmable backdoor into a VLM, allowing an attacker to choose previously unseen target-caption semantics at inference time and synthesize corresponding stealthy triggers on demand. Unlike fixed-mapping attacks, the proposed any-to-any caption-control paradigm decouples post-training target selection from poisoning, enabling dynamic control of target captions without retraining the VLM. Our method has two components. First, a heuristic poisoning strategy exposes the model to diverse trigger-caption pairs, encouraging it to learn a general trigger-as-instruction rule rather than memorize a specific backdoor pattern. Second, a feature-space trigger steganography method maps any attacker-specified target caption to a stealthy visual trigger, implemented as either a norm-controlled perturbation or a non-semantic patch. Once inserted into arbitrary images, these triggers cause the poisoned VLM to generate outputs semantically aligned with the chosen target caption, even when the target was unseen during poisoning. Extensive experiments show that our attack achieves high any-to-any caption-control success rates, preserves clean model utility, and remains effective under several classical backdoor defenses.
- Abstract(参考訳): 既存の視覚言語モデル(VLM)のバックドアは通常、静的な脆弱性として扱われる。
この仮定は脅威をかなり過小評価する。
単一毒素相がプログラム可能なバックドアをVLMに埋め込むことができ、攻撃者は推論時に未確認のターゲットキャプションのセマンティクスを選択し、要求に応じて対応するステルスシートリガーを合成できる。
固定マッピング攻撃とは異なり、提案された任意のキャプション制御パラダイムは、トレーニング後の標的選択を中毒から切り離し、VLMを再訓練することなくターゲットキャプションの動的制御を可能にする。
私たちの方法には2つの要素があります。
まず、ヒューリスティックな毒殺戦略は、モデルを多様なトリガーキャップペアに公開し、特定のバックドアパターンを記憶するのではなく、一般的なトリガー・アズ・インストラクション・ルールを学ぶことを奨励する。
第二に、特徴空間トリガステガノグラフィー法は、攻撃者が特定したターゲットキャプションを、標準制御された摂動または非セマンティックパッチとして実装されたステルス視覚トリガーにマッピングする。
任意の画像に挿入すると、これらのトリガーは毒を盛ったVLMに、標的のキャプションにセマンティックに一致した出力を生成する。
大規模な実験により,攻撃は極めて高いキャプション制御成功率を示し,クリーンモデルの有用性を保ち,古典的なバックドア防御の下でも有効であることがわかった。
関連論文リスト
- Backdoor Attacks on Open Vocabulary Object Detectors via Multi-Modal Prompt Tuning [5.0734761482919115]
オープン語彙オブジェクト検出器(OVOD)は、視覚と言語を統一し、テキストプロンプトに基づいて任意のオブジェクトカテゴリを検出する。
我々は,OVODに対するバックドアアタックの最初の研究を行い,即時チューニングによって導入された新たなアタックサーフェスを明らかにする。
論文 参考訳(メタデータ) (2025-11-16T19:05:31Z) - MTAttack: Multi-Target Backdoor Attacks against Large Vision-Language Models [52.37749859972453]
我々は,LVLMにおける複数のトリガターゲットマッピングを正確に行うための,最初のマルチターゲットバックドアアタックフレームワークであるMTAttackを提案する。
人気のあるベンチマークの実験では、マルチターゲット攻撃に対するMTAttackの成功率が高いことが示されている。
我々の攻撃は、データセット間での強力な一般化性と、バックドア防衛戦略に対する堅牢性を示す。
論文 参考訳(メタデータ) (2025-11-13T09:00:21Z) - Visual Backdoor Attacks on MLLM Embodied Decision Making via Contrastive Trigger Learning [89.1856483797116]
MLLMをベースとした組込みエージェントに視覚的バックドアを注入する最初のフレームワークであるBEATを紹介する。
テキストトリガーとは異なり、オブジェクトトリガーは視点や照明の幅が広いため、確実に移植することは困難である。
BEATは攻撃の成功率を最大80%まで達成し、強い良識のあるタスクパフォーマンスを維持します。
論文 参考訳(メタデータ) (2025-10-31T16:50:49Z) - TabVLA: Targeted Backdoor Attacks on Vision-Language-Action Models [63.51290426425441]
バックドア付きVLAエージェントは、プレインジェクトされたバックドアによって隠蔽的にトリガーされ、敵のアクションを実行することができる。
我々は,VLAモデルに対するターゲットバックドア攻撃について検討し,ブラックボックスファインチューニングによる攻撃を可能にする新しいフレームワークであるTabVLAを紹介した。
我々の研究は、バックドア操作をターゲットにしたVLAモデルの脆弱性を強調し、より高度な防御の必要性を強調します。
論文 参考訳(メタデータ) (2025-10-13T02:45:48Z) - Backdoor Attack on Vision Language Models with Stealthy Semantic Manipulation [32.24294112337828]
BadSemは、トレーニング中に画像とテキストのペアを意図的に間違えることでバックドアを注入するデータ中毒攻撃だ。
実験の結果,BadSemは平均的ASRの98%以上を達成し,アウト・オブ・ディストリビューション・データセットに最適化し,有害なモダリティをまたいで転送可能であることがわかった。
我々の発見は、より安全なデプロイメントのためにビジョン言語モデルにおけるセマンティックな脆弱性に対処する緊急の必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2025-06-08T16:40:40Z) - SRD: Reinforcement-Learned Semantic Perturbation for Backdoor Defense in VLMs [57.880467106470775]
攻撃者は、トレーニングデータに知覚不能な摂動を注入することができ、モデルが悪意のある攻撃的制御されたキャプションを生成する。
本稿では,引き金の事前知識を伴わずにバックドア動作を緩和する強化学習フレームワークであるセマンティック・リワード・ディフェンス(SRD)を提案する。
SRDはDeep Q-Networkを使用して、機密画像領域に個別の摂動を適用するためのポリシーを学習し、悪意ある経路の活性化を妨害することを目的としている。
論文 参考訳(メタデータ) (2025-06-05T08:22:24Z) - SFIBA: Spatial-based Full-target Invisible Backdoor Attacks [9.124060365358748]
マルチターゲットバックドア攻撃は、ディープニューラルネットワークに重大なセキュリティ脅威をもたらす。
本研究では,SFIBAと呼ばれる空間的対象の視覚的バックドア攻撃を提案する。
SFIBAは、良質なサンプルに対してモデルの性能を保ちながら、優れた攻撃性能とステルスネスを達成することができることを示す。
論文 参考訳(メタデータ) (2025-04-29T05:28:12Z) - VL-Trojan: Multimodal Instruction Backdoor Attacks against
Autoregressive Visual Language Models [65.23688155159398]
VLM(Autoregressive Visual Language Models)は、マルチモーダルなコンテキストにおいて、驚くべき数ショットの学習機能を示す。
近年,マルチモーダル・インストラクション・チューニングが提案されている。
敵は、指示や画像に埋め込まれたトリガーで有毒なサンプルを注入することで、バックドアを埋め込むことができる。
本稿では,マルチモーダルなバックドア攻撃,すなわちVL-Trojanを提案する。
論文 参考訳(メタデータ) (2024-02-21T14:54:30Z) - M-to-N Backdoor Paradigm: A Multi-Trigger and Multi-Target Attack to Deep Learning Models [17.699749361475774]
我々は新たな$M$-to-$N$攻撃パラダイムを提案し、攻撃者が任意の入力を操作してターゲットクラスを攻撃できるようにする。
我々の攻撃は、ターゲットクラスごとに$M$のクリーンイメージをトリガーとして選択し、提案した有毒画像生成フレームワークを活用する。
我々の新たなバックドア攻撃は、複数のターゲットクラスを攻撃し、前処理操作や既存の防御に対して堅牢である。
論文 参考訳(メタデータ) (2022-11-03T15:06:50Z) - Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。
我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。
実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
論文 参考訳(メタデータ) (2021-03-06T05:50:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。