論文の概要: Selective Channel Restoration for Backdoored Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.37759v1
• Date: Tue, 29 Sep 2026 15:04:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.660648
• Title: Selective Channel Restoration for Backdoored Vision-Language Models
• Title（参考訳）: 後方視線モデルのための選択チャネル復元
• Abstract要約: Perturb-Select-Restore (PSR) は、プロジェクションインターフェースのスパース更新を実行する後処理のディフェンスである。 PSRはクリーンタスクのパフォーマンスを維持しながら、攻撃成功率をほぼゼロに下げる。
• 参考スコア（独自算出の注目度）: 19.868353822991114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) exhibit strong multimodal capabilities but remain vulnerable to backdoors implanted through poisoned fine-tuning data. Existing defenses often require extensive parameter updates during fine-tuning or incur per-query overhead during inference. To address these limitations, we propose Perturb-Select-Restore (PSR), a post-training defense that performs sparse updates to the projection interface and introduces no additional computation during inference. We reveal that backdoored VLM projectors are substantially more sensitive to bounded perturbations than clean VLM projectors, a phenomenon we term projection fragility. Building on this finding, PSR identifies the output channels most sensitive to perturbations in each projection layer of a backdoored VLM and restores their parameters to the corresponding pretrained values. Experiments across multiple tasks show that PSR reduces attack success rates to near zero while preserving clean-task performance.
• Abstract（参考訳）: 視覚言語モデル(VLM)は強力なマルチモーダル能力を示すが、汚染された微調整データによって移植されたバックドアには弱いままである。 既存のディフェンスでは、微調整時に広範囲のパラメータを更新したり、推論中にクエリごとのオーバーヘッドを発生させたりする必要があることが多い。 これらの制約に対処するため,提案するPSR(Perturb-Select-Restore)を提案する。 バックドア型VLMプロジェクタはクリーンなVLMプロジェクタよりも有界な摂動にかなり敏感であることを明らかにする。 この発見に基づいて、PSRはバックドアされたVLMの各射影層の摂動に最も敏感な出力チャネルを特定し、それらのパラメータを対応する事前学習された値に復元する。 複数のタスクにわたる実験により、PSRはクリーンタスクのパフォーマンスを維持しながら、攻撃成功率をほぼゼロに抑えることが示された。

関連論文リスト

• ProjLens: Unveiling the Role of Projectors in Multimodal Model Safety [54.4092272526747]
  MLLM(Multimodal Large Language Models)は、クロスモーダルな理解と生成において大きな成功を収めていますが、そのデプロイは重大な安全性の脆弱性によって脅かされています。 本稿では,MLLMのバックドアを復号化するための解釈可能性フレームワークであるProjLensを提案する。
  論文  参考訳（メタデータ） (2026-04-21T04:52:38Z)
• BackdoorIDS: Zero-shot Backdoor Detection for Pretrained Vision Encoder [13.008131372229458]
  BackdoorIDSは、事前訓練された視覚エンコーダのためのゼロショット、推論時バックドアサンプル検出方法である。 さまざまな攻撃タイプ、データセット、モデルファミリーで、既存の防御を一貫して上回る。 BackdoorIDSは、CNN、ViT、CLIP、LLaVA-1.5など、幅広いエンコーダアーキテクチャと互換性がある。
  論文  参考訳（メタデータ） (2026-03-12T08:32:19Z)
• Visual Backdoor Attacks on MLLM Embodied Decision Making via Contrastive Trigger Learning [89.1856483797116]
  MLLMをベースとした組込みエージェントに視覚的バックドアを注入する最初のフレームワークであるBEATを紹介する。 テキストトリガーとは異なり、オブジェクトトリガーは視点や照明の幅が広いため、確実に移植することは困難である。 BEATは攻撃の成功率を最大80%まで達成し、強い良識のあるタスクパフォーマンスを維持します。
  論文  参考訳（メタデータ） (2025-10-31T16:50:49Z)
• Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
  Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。 クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-05-22T17:11:58Z)
• Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving [55.96227460521096]
  視覚言語モデル(VLM)は推論能力を高めるために自律運転システムに統合されている。 本稿では,自律運転シナリオにおけるVLMシステムを対象とした自然反射型バックドアアタックを提案する。 我々の発見は、自動運転の厳しいリアルタイム要求を生かした、新たなタイプの攻撃を発見しました。
  論文  参考訳（メタデータ） (2025-05-09T20:28:17Z)
• Defending Multimodal Backdoored Models by Repulsive Visual Prompt Tuning [27.355414806455077]
  マルチモーダルコントラスト学習モデル(例えばCLIP)は、大規模な画像テキストデータセットから高品質な表現を学習することができる。 彼らはバックドア攻撃に対する重大な脆弱性を示し、深刻な安全性を懸念している。 本稿では,視覚的プロンプトチューニングと特殊に設計された機能的損失を利用した新しい防御手法であるRepulsive Visual Prompt Tuning (RVPT)を提案する。
  論文  参考訳（メタデータ） (2024-12-29T08:09:20Z)
• VL-Trojan: Multimodal Instruction Backdoor Attacks against Autoregressive Visual Language Models [65.23688155159398]
  VLM(Autoregressive Visual Language Models)は、マルチモーダルなコンテキストにおいて、驚くべき数ショットの学習機能を示す。 近年,マルチモーダル・インストラクション・チューニングが提案されている。 敵は、指示や画像に埋め込まれたトリガーで有毒なサンプルを注入することで、バックドアを埋め込むことができる。 本稿では,マルチモーダルなバックドア攻撃,すなわちVL-Trojanを提案する。
  論文  参考訳（メタデータ） (2024-02-21T14:54:30Z)
• Mitigating Object Hallucination in Large Vision-Language Models via Image-Grounded Guidance [51.30560006045442]
  Image-gRounded guIdaNcE (MARINE)は、トレーニングフリーかつAPIフリーのフレームワークである。 MARINEは、LVLMに画像グラウンドガイダンスを導入することにより、推論中の物体の幻覚を効果的かつ効率的に低減する。 私たちのフレームワークの柔軟性は、さらに複数のビジョンモデルの統合を可能にし、より信頼性が高く堅牢なオブジェクトレベルのガイダンスを可能にします。
  論文  参考訳（メタデータ） (2024-02-13T18:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。