論文の概要: Not All Tokens Are Equal: Region-Aware Consistency Repair of Backdoors in MLLMs

• arxiv url: http://arxiv.org/abs/2608.24354v1
• Date: Tue, 25 Aug 2026 10:10:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.93192
• Title: Not All Tokens Are Equal: Region-Aware Consistency Repair of Backdoors in MLLMs
• Title（参考訳）: すべてのトークンが同等ではない - MLLMにおけるバックドアの地域対応整合性修復
• Abstract要約: 既存のモデルレベルのバックドア除去法はMLLMに対して限られた効果を示した。 バックドアは内部表現において異常な層間進化を誘導する。 RACERは、融合した表現を視覚的およびテキスト的トークン領域に分解し、それらの階層的不整合を別々に正規化し、深層ウィンドウ上のモード認識重みを使って再構成する。
• 参考スコア（独自算出の注目度）: 19.117078494342714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: MLLMs are increasingly deployed in user-facing applications, yet they inherit backdoor risks from the pipelines used to construct them: triggers may reside in images, texts, or both. Existing model-level backdoor removal methods, largely designed for conventional classifiers, show limited effectiveness on MLLMs, while MLLM-specific defenses mainly operate at inference time, filtering suspicious inputs without removing the backdoor embedded in the model. To address this gap and eliminate latent backdoors from MLLMs at their source, we present RACER, a model-level repair framework motivated by a key observation: backdoors induce abnormal layer-to-layer evolution in internal representations, which we term the layer-wise inconsistency anomaly. Importantly, this anomaly is modality-dependent, concentrating primarily in the token region encoding the trigger features that the backdoor model actually relies on. RACER therefore decomposes the fused representation into visual and textual token regions, normalizes their layer-wise inconsistency separately, and recomposes them using modality-aware weights over a deep-layer window, yielding a region-aware inconsistency objective that better captures localized backdoor-induced anomalies. Through a min-max optimization, this objective drives worst-case perturbation synthesis and adversarial fine-tuning against the resulting perturbation to repair the model, suppressing the deep representational directional shifts on which backdoor behaviors rely. RACER requires only 100 clean samples and no knowledge of the trigger, attack objective, or even whether the input model contains a backdoor. Evaluations on three open-source MLLMs across 36 backdoor settings spanning image, text, and multimodal triggers show that RACER reduces the average ASR to 1.1%, reaching 0% in 32 settings, while preserving clean-task utility on both backdoor and clean models.
• Abstract（参考訳）: MLLMはますますユーザ向けアプリケーションにデプロイされているが、構築に使用されるパイプラインからバックドアリスクを継承する。 既存のモデルレベルのバックドア除去法は主に従来の分類器用に設計されているが、MLLM固有のディフェンスは主に推論時に動作し、モデルに埋め込まれたバックドアを除去することなく不審な入力をフィルタリングする。 このギャップに対処し、MLLMから潜伏したバックドアを除去するために、重要な観測によって動機付けられたモデルレベルの修復フレームワークであるRACERを提案する。 重要なことに、この異常はモダリティに依存しており、主にバックドアモデルが実際に依存しているトリガー特徴を符号化するトークン領域に集中している。 したがって、RACERは融合した表現を視覚的およびテキスト的トークン領域に分解し、それらの階層的不整合を別々に正規化し、深層窓の上のモジュラリティを意識した重みを使って再分解する。 min-max最適化により、この目的は、最悪のケースの摂動合成と、結果の摂動に対して逆方向の微調整を駆動し、バックドアの挙動が依存する深い表現方向のシフトを抑制する。 RACERは100個のクリーンサンプルしか必要とせず、トリガー、攻撃目標、あるいは入力モデルにバックドアが含まれているかどうかさえ知らない。 画像、テキスト、マルチモーダルトリガーにまたがる36のバックドア設定にわたる3つのオープンソースMLLMの評価によると、RACERは平均的なASRを1.1%に下げ、32設定で0%に達した。

関連論文リスト

• ProjLens: Unveiling the Role of Projectors in Multimodal Model Safety [54.4092272526747]
  MLLM(Multimodal Large Language Models)は、クロスモーダルな理解と生成において大きな成功を収めていますが、そのデプロイは重大な安全性の脆弱性によって脅かされています。 本稿では,MLLMのバックドアを復号化するための解釈可能性フレームワークであるProjLensを提案する。
  論文  参考訳（メタデータ） (2026-04-21T04:52:38Z)
• Self-Purification Mitigates Backdoors in Multimodal Diffusion Language Models [74.1970982768771]
  確立されたデータポゾンパイプラインは,MDLMにバックドアを埋め込むことに成功した。 拡散自己浄化(Diffusion Self-Purification)と呼ばれるMDLMのバックドア防御フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2026-02-24T15:47:52Z)
• Assimilation Matters: Model-level Backdoor Detection in Vision-Language Pretrained Models [71.44858461725893]
  信頼できない第三者によって微調整されたモデルを考えると、モデルがバックドアで注入されたかどうかが重要で難しい問題である。 既存の検出方法は通常、トレーニングデータセット、バックドアトリガー、ターゲットの事前知識に依存する。 このような事前知識を伴わずに動作する新しいモデルレベルの検出フレームワークであるAssimilation Matters in DETection (AMDET)を紹介する。
  論文  参考訳（メタデータ） (2025-11-29T06:20:00Z)
• Backdoor Collapse: Eliminating Unknown Threats via Known Backdoor Aggregation in Language Models [75.29749026964154]
  Ourmethodは、複数のベンチマークで平均的な攻撃成功率を4.41%に下げる。 クリーンな精度と実用性はオリジナルのモデルの0.5%以内に保存される。 防衛はさまざまな種類のバックドアをまたいで一般化し、実際のデプロイメントシナリオにおける堅牢性を確認します。
  論文  参考訳（メタデータ） (2025-10-11T15:47:35Z)
• Lethe: Purifying Backdoored Large Language Models with Knowledge Dilution [49.78359632298156]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて優れたパフォーマンスを達成し、大幅な進歩を遂げている。 標準クエリではモデルが正常に動作しますが、特定のトリガがアクティブになると、有害な応答や意図しない出力を生成します。 本稿では,LLMからのバックドアの挙動を知識希釈により除去する新しい手法LETHEを提案する。
  論文  参考訳（メタデータ） (2025-08-28T17:05:18Z)
• Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
  Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。 クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-05-22T17:11:58Z)
• CROW: Eliminating Backdoors from Large Language Models via Internal Consistency Regularization [7.282200564983221]
  大規模言語モデル(LLM)は、隠れたトリガーを介して出力を操作するバックドア攻撃に対して脆弱である。 本稿では,バックドアモデルがトリガ時に不安定な層単位の隠蔽表現を示すという観測を生かした内部一貫性規則化(CROW)を提案する。 CROWは、微調整やバックドアの中立化など、クリーンな参照モデルや知識のトリガを必要とせず、小さなクリーンなデータセットのみを使用して、レイヤ間の一貫性を強制する。
  論文  参考訳（メタデータ） (2024-11-18T07:52:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。