論文の概要: When One Modality Rules Them All: Backdoor Modality Collapse in Multimodal Diffusion Models

• arxiv url: http://arxiv.org/abs/2603.06508v1
• Date: Fri, 06 Mar 2026 17:42:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:46.308848
• Title: When One Modality Rules Them All: Backdoor Modality Collapse in Multimodal Diffusion Models
• Title（参考訳）: 一つのモダリティルールがすべてであるとき:マルチモーダル拡散モデルにおけるバックドアモダリティの崩壊
• Authors: Qitong Wang, Haoran Dai, Haotian Zhang, Christopher Rasmussen, Binghui Wang,
• Abstract要約: マルチモーダル拡散モデルにおけるバックドアモダリティ崩壊現象について検討する。 攻撃はしばしばサブセット・モダリティの優位に崩壊し、相互モダリティの相互作用は無視または否定的である。 これらの結果は、攻撃の成功率が高いことが、モダリティのサブセットに根本的な依存を隠蔽していることを示唆している。
• 参考スコア（独自算出の注目度）: 32.77084507646192
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While diffusion models have revolutionized visual content generation, their rapid adoption has underscored the critical need to investigate vulnerabilities, e.g., to backdoor attacks. In multimodal diffusion models, it is natural to expect that attacking multiple modalities simultaneously (e.g., text and image) would yield complementary effects and strengthen the overall backdoor. In this paper, we challenge this assumption by investigating the phenomenon of Backdoor Modality Collapse, a scenario where the backdoor mechanism degenerates to rely predominantly on a subset of modalities, rendering others redundant. To rigorously quantify this behavior, we introduce two novel metrics: Trigger Modality Attribution (TMA) and Cross-Trigger Interaction (CTI). Through extensive experiments across diverse training configurations in multimodal conditional diffusion, we consistently observe a ``winner-takes-all'' dynamic in backdoor behavior. Our results reveal that (1) attacks often collapse into subset-modality dominance, and (2) cross-modal interaction is negligible or even negative, contradicting the intuition of synergistic vulnerability. These findings highlight a critical blind spot in current assessments, suggesting that high attack success rates often mask a fundamental reliance on a subset of modalities. This establishes a principled foundation for mechanistic analysis and future defense development.
• Abstract（参考訳）: 拡散モデルは視覚的コンテンツ生成に革命をもたらしたが、その急速な普及は、バックドア攻撃に対する脆弱性を調査するための重要な必要性を浮き彫りにした。 マルチモーダル拡散モデルでは、複数のモーダルを同時に攻撃すること(例えば、テキストや画像)が相補的な効果をもたらし、全体的なバックドアを強化することを期待するのは自然なことである。 本稿では,バックドア機構が退避し,モダリティのサブセットに大きく依存するシナリオであるバックドアモダリティ崩壊(Backdoor Modality Collapse)の現象を調査して,この仮定に挑戦する。 この振る舞いを厳密に定量化するために,Trigger Modality Attribution (TMA) と Cross-Trigger Interaction (CTI) の2つの新しい指標を紹介した。 マルチモーダルな条件拡散における多様なトレーニング構成の広範な実験を通じて、バックドアの挙動における'winner-takes-all'のダイナミクスを一貫して観察する。 その結果,(1)攻撃は部分的モダリティ支配に崩壊することが多く,(2)クロスモーダル相互作用は無視あるいは否定的であり,相乗的脆弱性の直観に矛盾することが明らかとなった。 これらの結果は、現在の評価において重要な盲点を浮き彫りにしており、攻撃の成功率が高いことは、しばしばモダリティのサブセットへの根本的な依存を隠蔽していることを示唆している。 これにより、機械解析と将来の防衛開発の基礎が確立される。

関連論文リスト

• Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
  テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。 本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。 その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
  論文  参考訳（メタデータ） (2026-01-07T16:39:34Z)
• Learning Representation and Synergy Invariances: A Povable Framework for Generalized Multimodal Face Anti-Spoofing [85.00865662325954]
  複数の視覚的モダリティを統合するマルチモーダル・フェイス・アンチ・スプーフィング(FAS)法は、目に見えないドメインにデプロイすると、より深刻なパフォーマンス劣化を被ることが多い。 これは主に、クロスドメインのマルチモーダル一般化に影響を与える2つの見落とされがちなリスクによるものである。 証明可能なフレームワーク,すなわちマルチモーダル表現と相乗的不変学習(RiSe)を提案する。
  論文  参考訳（メタデータ） (2025-11-18T05:37:06Z)
• Adversarial Activation Patching: A Framework for Detecting and Mitigating Emergent Deception in Safety-Aligned Transformers [0.0]
  大規模言語モデル(LLM)は、安全のために整列し、しばしば突発的な騙し行動を示す。 本稿では,新しい機械的解釈可能性フレームワークである逆アクティベーションパッチについて紹介する。 のプロンプトからアクティベーションをソーシングすることで、脆弱性をシミュレートし、偽装率を定量化する。
  論文  参考訳（メタデータ） (2025-07-12T21:29:49Z)
• Rethinking Explainability in the Era of Multimodal AI [9.57008593971486]
  マルチモーダルAIシステムはユビキタスになり、ハイテイクなアプリケーションにまたがって優れたパフォーマンスを実現している。 既存の説明可能性のテクニックの多くは単調のままであり、モダリティ固有の特徴属性、概念、回路トレースを分離して生成する。 本稿では, マルチモーダルモデル決定を駆動するクロスモーダルな影響を, 体系的に誤表現し, 捉えることができないことを論じる。
  論文  参考訳（メタデータ） (2025-06-16T03:08:29Z)
• A Closer Look at Multimodal Representation Collapse [12.399005128036746]
  モーダリティの崩壊は、あるモーダリティからのノイズが、融合ヘッド内のニューロンの共有セットを介して、他のモーダリティからの予測的特徴によって絡み合っているときに起こることを示す。 本稿では,モダリティの欠如に対処する手法として,モダリティの崩壊を防止するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-05-28T15:31:53Z)
• Trigger without Trace: Towards Stealthy Backdoor Attack on Text-to-Image Diffusion Models [70.03122709795122]
  テキストと画像の拡散モデルをターゲットにしたバックドア攻撃が急速に進んでいる。 現在のバックドアサンプルは良性サンプルと比較して2つの重要な異常を示すことが多い。 我々はこれらの成分を明示的に緩和することでTwT(Trigger without Trace)を提案する。
  論文  参考訳（メタデータ） (2025-03-22T10:41:46Z)
• BadCM: Invisible Backdoor Attack Against Cross-Modal Learning [110.37205323355695]
  クロスモーダルバックドアにおけるパズルの欠片を補うために,新たな両面バックドアを導入する。 BadCMは、1つの統合されたフレームワーク内で多様なクロスモーダルアタックのために意図的に設計された最初の目に見えないバックドアメソッドである。
  論文  参考訳（メタデータ） (2024-10-03T03:51:53Z)
• Probing the Robustness of Vision-Language Pretrained Models: A Multimodal Adversarial Attack Approach [30.9778838504609]
  トランスを用いた視覚言語事前学習は、多数のマルチモーダルタスクにおいて例外的な性能を示した。 既存のマルチモーダルアタック手法は、視覚とテキストのモダリティ間のクロスモーダルな相互作用をほとんど見落としている。 本稿では,視覚的・テキスト的両モードの対向的摂動を同時に導入する,JMTFA(Joint Multimodal Transformer Feature Attack)を提案する。
  論文  参考訳（メタデータ） (2024-08-24T04:31:37Z)
• Revisiting Backdoor Attacks against Large Vision-Language Models from Domain Shift [104.76588209308666]
  本稿では,LVLMの学習訓練におけるバックドア攻撃について検討する。 我々は,攻撃の堅牢性を評価するために,新たな評価次元,バックドア領域の一般化を導入する。 本稿では,ドメイン非依存的トリガを臨界領域に注入するマルチモーダルアトリビューションバックドアアタック(MABA)を提案する。
  論文  参考訳（メタデータ） (2024-06-27T02:31:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。