論文の概要: Backdoor Attacks on Prompt-Driven Video Segmentation Foundation Models
- arxiv url: http://arxiv.org/abs/2512.22046v1
- Date: Fri, 26 Dec 2025 14:48:58 GMT
- ステータス: 情報取得中
- システム内更新日: 2025-12-29 11:53:01.375307
- Title: Backdoor Attacks on Prompt-Driven Video Segmentation Foundation Models
- Title（参考訳）: プロンプト駆動型ビデオセグメンテーション基礎モデルにおけるバックドア攻撃
- Authors: Zongmin Zhang, Zhen Sun, Yifan Liao, Wenhan Dong, Xinlei He, Xingshuo Han, Shengmin Xu, Xinyi Huang,
- Abstract要約: 我々は,プロンプト駆動VSFMに適した最初のバックドアフレームワークであるBadVSFMを提案する。
BadVSFMは、(1)イメージエンコーダを操り、トリガーフレームを指定されたターゲットへの埋め込みにマップし、クリーンフレームをクリーンリファレンスエンコーダにアライメントする。
実験により、BadVSFMは多様なトリガーとプロンプトの下で強力で制御可能なバックドア効果を達成することが示された。
- 参考スコア（独自算出の注目度）: 21.15174669411218
- License:
- Abstract: Prompt-driven Video Segmentation Foundation Models (VSFMs) such as SAM2 are increasingly deployed in applications like autonomous driving and digital pathology, raising concerns about backdoor threats. Surprisingly, we find that directly transferring classic backdoor attacks (e.g., BadNet) to VSFMs is almost ineffective, with ASR below 5\%. To understand this, we study encoder gradients and attention maps and observe that conventional training keeps gradients for clean and triggered samples largely aligned, while attention still focuses on the true object, preventing the encoder from learning a distinct trigger-related representation. To address this challenge, we propose BadVSFM, the first backdoor framework tailored to prompt-driven VSFMs. BadVSFM uses a two-stage strategy: (1) steer the image encoder so triggered frames map to a designated target embedding while clean frames remain aligned with a clean reference encoder; (2) train the mask decoder so that, across prompt types, triggered frame-prompt pairs produce a shared target mask, while clean outputs stay close to a reference decoder. Extensive experiments on two datasets and five VSFMs show that BadVSFM achieves strong, controllable backdoor effects under diverse triggers and prompts while preserving clean segmentation quality. Ablations over losses, stages, targets, trigger settings, and poisoning rates demonstrate robustness to reasonable hyperparameter changes and confirm the necessity of the two-stage design. Finally, gradient-conflict analysis and attention visualizations show that BadVSFM separates triggered and clean representations and shifts attention to trigger regions, while four representative defenses remain largely ineffective, revealing an underexplored vulnerability in current VSFMs.
- Abstract（参考訳）: SAM2のようなプロンプト駆動ビデオセグメンテーション・ファンデーション・モデル(VSFM)は、自律運転やデジタル病理といったアプリケーションにますます導入され、バックドアの脅威に対する懸念が高まっている。
驚いたことに、古典的なバックドア攻撃(例えばBadNet)を直接VSFMに転送することは、ほとんど効果がなく、ASRは5%以下である。
これを理解するために、エンコーダの勾配と注意マップを調査し、従来のトレーニングでは、クリーンでトリガ的なサンプルの勾配がほぼ一致しているのに対して、注意は依然として真のオブジェクトに焦点を合わせており、エンコーダが独自のトリガ関連表現を学ぶのを妨げていることを観察する。
この課題に対処するため、我々は、プロンプト駆動VSFMに適した最初のバックドアフレームワークであるBadVSFMを提案する。
BadVSFMは、(1)画像エンコーダを操り、トリガフレームを所定のターゲットへの埋め込みにマッピングし、(2)クリーンフレームをクリーンリファレンスエンコーダと整列させ、(2)プロンプトタイプでトリガフレームとプロンプトペアが共有ターゲットマスクを生成するようにマスクデコーダを訓練し、クリーン出力を基準デコーダに近づける。
2つのデータセットと5つのVSFMの大規模な実験により、BadVSFMは多様なトリガーとプロンプトの下で強力で制御可能なバックドア効果を達成し、クリーンなセグメンテーション品質を維持している。
損失、ステージ、ターゲット、トリガー設定、および中毒率に対するアブレーションは、合理的なハイパーパラメータの変更に対する堅牢性を示し、2段階の設計の必要性を確認する。
最後に、勾配-衝突分析と注意の可視化は、BadVSFMが分離し、クリーンに表現し、注意をトリガー領域にシフトすることを示している。
関連論文リスト
- MDiff4STR: Mask Diffusion Model for Scene Text Recognition [59.79818820650126]
Mask Diffusion Models (MDM) は、視覚言語タスクのための自動回帰モデル (ARM) に代わる有望な代替品として登場した。
我々は,認識効率は向上するが,バニラMDMがARMに遅れていることを示す。
シーンテキスト認識に適した2つの重要な改善戦略を備えたマスク拡散モデルMDiff4STRを提案する。
論文 参考訳（メタデータ） (2025-12-01T08:57:51Z) - RLBind: Adversarial-Invariant Cross-Modal Alignment for Unified Robust Embeddings [0.47097887983573417]
視覚、オーディオ、その他のセンサーを共有埋め込み空間に結合する統一されたマルチモーダルエンコーダは、ロボットの知覚と意思決定のための魅力的なビルディングブロックである。
RLBindは、2段階の対向不変なクロスモーダルアライメントフレームワークで、ロバストな統合埋め込みを実現する。
RLBindは、LanguageBindのバックボーンと標準の微調整ベースラインを、クリーンな精度とノルムバウンドな対向ロバスト性の両方で一貫して上回っている。
論文 参考訳（メタデータ） (2025-09-17T19:35:52Z) - VFM-Guided Semi-Supervised Detection Transformer under Source-Free Constraints for Remote Sensing Object Detection [9.029534000674388]
VG-DETRは、Vision Foundation Model(VFM)を「フリーランチ」方法でトレーニングパイプラインに統合する。
擬似ラベルの信頼性を評価するために,VFMのセマンティックな事前情報を利用した擬似ラベルマイニング手法を提案する。
さらに,デュアルレベルのVFM誘導アライメント手法を提案し,インスタンスレベルと画像レベルでのVFM埋め込みと検出器特性を一致させる。
論文 参考訳（メタデータ） (2025-08-15T02:35:56Z) - ForensicsSAM: Toward Robust and Unified Image Forgery Detection and Localization Resisting to Adversarial Attack [56.0056378072843]
高い転送性を持つ逆画像は上流モデルでのみ作成可能であることを示す。
本稿では,IFDLフレームワークを組み込んだForensicsSAMを提案する。
論文 参考訳（メタデータ） (2025-08-10T16:03:44Z) - Proactive Disentangled Modeling of Trigger-Object Pairings for Backdoor Defense [0.0]
ディープニューラルネットワーク(DNN)とジェネレーティブAI(GenAI)は、バックドア攻撃に対してますます脆弱になっている。
本稿では、構造的ゆがみを利用したプロアクティブなフレームワークであるDBOMを紹介し、見えないバックドアの脅威を識別し、中和する。
そこで本研究では,DBOMが下流トレーニングに先立って有毒な画像を確実に検出し,トレーニングパイプラインの安全性を著しく向上することを示す。
論文 参考訳（メタデータ） (2025-08-03T21:58:15Z) - Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。
クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
論文 参考訳（メタデータ） (2025-05-22T17:11:58Z) - Trigger without Trace: Towards Stealthy Backdoor Attack on Text-to-Image Diffusion Models [70.03122709795122]
テキストと画像の拡散モデルをターゲットにしたバックドア攻撃が急速に進んでいる。
現在のバックドアサンプルは良性サンプルと比較して2つの重要な異常を示すことが多い。
我々はこれらの成分を明示的に緩和することでTwT(Trigger without Trace)を提案する。
論文 参考訳（メタデータ） (2025-03-22T10:41:46Z) - Mask Propagation for Efficient Video Semantic Segmentation [63.09523058489429]
ビデオセマンティックベースライン劣化(VSS)は、ビデオシーケンス内の各ピクセルにセマンティックラベルを割り当てることを含む。
SSSSと呼ばれるVSSのための効率的なマスク伝搬フレームワークを提案する。
当社のフレームワークは,フレーム単位のMask2Formerと比較して最大4倍のFLOPを削減し,Cityscapes検証セット上では最大2% mIoUしか使用できない。
論文 参考訳（メタデータ） (2023-10-29T09:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。