論文の概要: Learning Normal Diffusion Dynamics for Backdoor Defense in Text-to-Image Models
- arxiv url: http://arxiv.org/abs/2609.39548v1
- Date: Wed, 30 Sep 2026 11:48:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.629863
- Title: Learning Normal Diffusion Dynamics for Backdoor Defense in Text-to-Image Models
- Title(参考訳): テキスト・画像モデルにおけるバックドアディフェンスのための正規拡散ダイナミクスの学習
- Abstract要約: バックドア攻撃は、テキスト・ツー・イメージ(T2I)拡散モデルの安全なデプロイに深刻な脅威をもたらす。
既存の防御は、内部表現の特定の異常パターンからバックドアを検出するのが一般的である。
拡散軌道の正規遷移ダイナミクスを学習するための正規拡散ダイナミクス学習(NDDL)を提案する。
- 参考スコア(独自算出の注目度): 18.179004268559932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Backdoor attacks pose a serious threat to the secure deployment of text-to-image (T2I) diffusion models. Existing defenses typically detect backdoors from specific abnormal patterns in internal representations, which may limit their generalizability with the emergence of increasingly diverse attack mechanisms. In this paper, we study backdoor defense of T2I diffusion models from a transition-dynamics perspective. We observe that benign diffusion trajectories exhibit structured and timestep-dependent transition patterns from cross-attention, latent and noise spaces, whereas backdoor attacks tend to induce deviations from such normal evolution. Motivated by these observations, we propose Normal Diffusion Dynamics Learning (NDDL), a novel backdoor defense framework that learns the normal transition dynamics of diffusion trajectories utilizing only benign samples. NDDL constructs compact multi-space trajectory representations and trains a timestep-conditioned dynamics model to predict the diffusion evolution. In the inference phase, deviations between the observed and predicted transitions are exploited to quantify dynamics inconsistency for backdoor detection. NDDL further enables trigger localization without any prior knowledge of the embedded backdoor by performing substitution with low-semantic words. Extensive experiments for diverse backdoor attacks demonstrate the effectiveness and generalizability of our proposed NDDL.
- Abstract(参考訳): バックドア攻撃は、テキスト・ツー・イメージ(T2I)拡散モデルの安全なデプロイに深刻な脅威をもたらす。
既存の防御は、内部表現の特定の異常パターンからバックドアを検出するのが一般的であり、より多様な攻撃機構の出現によって、その一般化性が制限される可能性がある。
本稿では,遷移力学の観点から,T2I拡散モデルのバックドアディフェンスについて検討する。
一方, バックドア攻撃は, 通常の進化から逸脱を誘発する傾向にあるのに対し, 相互注意, 潜時, 騒音空間からの構造的, 時間的依存的な遷移パターンを示す。
これらの観測から得られたNDDL(Normal Diffusion Dynamics Learning)は,良性サンプルのみを用いた拡散軌道の正規遷移ダイナミクスを学習する新しいバックドアディフェンスフレームワークである。
NDDLは、コンパクトな多空間軌道表現を構築し、拡散進化を予測するために時間条件付き力学モデルを訓練する。
推論フェーズでは、観測された遷移と予測される遷移の偏差を利用して、バックドア検出のための動的不整合を定量化する。
NDDLはまた、低意味の単語で置換を行うことにより、組み込まれたバックドアの事前の知識なしに、トリガーのローカライゼーションを可能にする。
多様なバックドア攻撃に対する大規模な実験により,提案したNDDLの有効性と一般化性を示した。
関連論文リスト
- EntropyScan: Towards Model-level Backdoor Detection in LVLMs via Visual Attention Entropy [66.59724477993339]
LVLM(Large Vision-Language Models)は、様々なタスクにまたがる優れた能力を示すが、バックドア攻撃には弱い。
本稿では,LVLMにおけるモデルレベルのバックドア検出のための軽量かつトリガに依存しないEntropyScanを提案する。
私たちのコードはまもなく公開されます。
論文 参考訳(メタデータ) (2026-05-15T08:01:32Z) - ProjLens: Unveiling the Role of Projectors in Multimodal Model Safety [54.4092272526747]
MLLM(Multimodal Large Language Models)は、クロスモーダルな理解と生成において大きな成功を収めていますが、そのデプロイは重大な安全性の脆弱性によって脅かされています。
本稿では,MLLMのバックドアを復号化するための解釈可能性フレームワークであるProjLensを提案する。
論文 参考訳(メタデータ) (2026-04-21T04:52:38Z) - Beyond Passive Aggregation: Active Auditing and Topology-Aware Defense in Decentralized Federated Learning [1.8262547855491456]
分散学習(DFL)は、従来の防御指標をバイパスするために設計されたバックドア攻撃に対して、非常に脆弱である。
この制限に対処するため、我々は防衛パラダイムを新しいアクティブな介入監査フレームワークにシフトする。
論文 参考訳(メタデータ) (2026-03-19T06:46:55Z) - When One Modality Rules Them All: Backdoor Modality Collapse in Multimodal Diffusion Models [32.77084507646192]
マルチモーダル拡散モデルにおけるバックドアモダリティ崩壊現象について検討する。
攻撃はしばしばサブセット・モダリティの優位に崩壊し、相互モダリティの相互作用は無視または否定的である。
これらの結果は、攻撃の成功率が高いことが、モダリティのサブセットに根本的な依存を隠蔽していることを示唆している。
論文 参考訳(メタデータ) (2026-03-06T17:42:08Z) - Dynamic Attention Analysis for Backdoor Detection in Text-to-Image Diffusion Models [70.03122709795122]
従来のバックドア検出手法は主にバックドアサンプルの静的特徴に焦点を当てていた。
本研究では、動的注意分析(DEA)と呼ばれる新しいバックドア検出視点を導入し、これらの動的特徴がバックドア検出の指標となることを示す。
我々の手法は既存の検出方法を大きく上回り、平均F1スコアは79.49%、AUCは87.67%に達した。
論文 参考訳(メタデータ) (2025-04-29T07:59:35Z) - Efficient Input-level Backdoor Defense on Text-to-Image Synthesis via Neuron Activation Variation [37.075824084492524]
NaviT2Iは、多様なT2Iバックドアに対する効率的な入力レベルのバックドア防御フレームワークである。
我々のアプローチは、拡散生成過程の初期段階において、トリガートークンが大きなニューロン活性化を誘導する傾向があるという新しい観察に基づいている。
論文 参考訳(メタデータ) (2025-03-09T05:27:44Z) - CROW: Eliminating Backdoors from Large Language Models via Internal Consistency Regularization [7.282200564983221]
大規模言語モデル(LLM)は、隠れたトリガーを介して出力を操作するバックドア攻撃に対して脆弱である。
本稿では,バックドアモデルがトリガ時に不安定な層単位の隠蔽表現を示すという観測を生かした内部一貫性規則化(CROW)を提案する。
CROWは、微調整やバックドアの中立化など、クリーンな参照モデルや知識のトリガを必要とせず、小さなクリーンなデータセットのみを使用して、レイヤ間の一貫性を強制する。
論文 参考訳(メタデータ) (2024-11-18T07:52:12Z) - Revisiting Backdoor Attacks against Large Vision-Language Models from Domain Shift [104.76588209308666]
本稿では,LVLMの学習訓練におけるバックドア攻撃について検討する。
我々は,攻撃の堅牢性を評価するために,新たな評価次元,バックドア領域の一般化を導入する。
本稿では,ドメイン非依存的トリガを臨界領域に注入するマルチモーダルアトリビューションバックドアアタック(MABA)を提案する。
論文 参考訳(メタデータ) (2024-06-27T02:31:03Z) - How to Backdoor Diffusion Models? [74.43215520371506]
本稿では,バックドア攻撃に対する拡散モデルの堅牢性に関する最初の研究について述べる。
我々は,バックドアインプラントのモデルトレーニング中に拡散過程を侵害する新たな攻撃フレームワークであるBadDiffusionを提案する。
本研究の結果は,拡散モデルの誤用や潜在的なリスクへの注意を呼び起こす。
論文 参考訳(メタデータ) (2022-12-11T03:44:38Z) - Adaptive Perturbation Generation for Multiple Backdoors Detection [29.01715186371785]
本稿では,複数種類のバックドア攻撃を検出するための適応摂動生成(APG)フレームワークを提案する。
まず,複数種類のバックドアトリガに適合するグローバル・ローカル戦略を設計する。
摂動注入の効率をさらに高めるため,勾配誘導マスク生成戦略を導入する。
論文 参考訳(メタデータ) (2022-09-12T13:37:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。