論文の概要: Tuning Just Enough: Lightweight Backdoor Attacks on Multi-Encoder Diffusion Models

• arxiv url: http://arxiv.org/abs/2603.04064v1
• Date: Wed, 04 Mar 2026 13:41:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.324519
• Title: Tuning Just Enough: Lightweight Backdoor Attacks on Multi-Encoder Diffusion Models
• Title（参考訳）: マルチエンコーダ拡散モデルによる軽量バックドア攻撃
• Authors: Ziyuan Chen, Yujin Jeong, Tobias Braun, Anna Rohrbach,
• Abstract要約: 安定拡散3号に対するバックドア攻撃を成功させるには,全エンコーダパラメータの0.2%未満のチューニングが十分であることを示す。 また,マルチエンコーダ・ライトウェイト・アタック(MELT)を提案する。
• 参考スコア（独自算出の注目度）: 11.377758902252168
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As text-to-image diffusion models become increasingly deployed in real-world applications, concerns about backdoor attacks have gained significant attention. Prior work on text-based backdoor attacks has largely focused on diffusion models conditioned on a single lightweight text encoder. However, more recent diffusion models that incorporate multiple large-scale text encoders remain underexplored in this context. Given the substantially increased number of trainable parameters introduced by multiple text encoders, an important question is whether backdoor attacks can remain both efficient and effective in such settings. In this work, we study Stable Diffusion 3, which uses three distinct text encoders and has not yet been systematically analyzed for text-encoder-based backdoor vulnerabilities. To understand the role of text encoders in backdoor attacks, we define four categories of attack targets and identify the minimal sets of encoders required to achieve effective performance for each attack objective. Based on this, we further propose Multi-Encoder Lightweight aTtacks (MELT), which trains only low-rank adapters while keeping the pretrained text encoder weight frozen. We demonstrate that tuning fewer than 0.2% of the total encoder parameters is sufficient for successful backdoor attacks on Stable Diffusion 3, revealing previously underexplored vulnerabilities in practical attack scenarios in multi-encoder settings.
• Abstract（参考訳）: テキストと画像の拡散モデルが現実世界のアプリケーションにますます導入されるにつれて、バックドア攻撃に対する懸念が注目されている。 テキストベースのバックドア攻撃の以前の研究は、単一の軽量テキストエンコーダで条件付けられた拡散モデルに重点を置いていた。 しかし、複数の大規模テキストエンコーダを組み込んだ最近の拡散モデルは、この文脈では未解明のままである。 複数のテキストエンコーダによって導入されたトレーニング可能なパラメータの数が大幅に増加していることを考えると、バックドア攻撃がそのような設定で効率的かつ効果的であるかどうかが重要な疑問である。 本研究では,3つの異なるテキストエンコーダを用いて,テキストエンコーダベースのバックドア脆弱性に対して,まだ体系的に解析されていないスタブルディフュージョン3について検討する。 バックドア攻撃におけるテキストエンコーダの役割を理解するために,攻撃対象の4つのカテゴリを定義し,攻撃対象毎に有効な性能を達成するために必要なエンコーダの最小セットを特定する。 そこで本研究では,マルチエンコーダ・ライトウェイト・アタック(MELT, Multi-Encoder Lightweight aTtacks)を提案する。 マルチエンコーダ設定の実践的攻撃シナリオにおいて,従来未検討の脆弱性が指摘されていたため,全エンコーダパラメータの0.2%未満のチューニングが,安定拡散3に対するバックドア攻撃の成功に十分であることが実証された。

関連論文リスト

• Measuring the Redundancy of Decoder Layers in SpeechLLMs [29.477655980414273]
  音声大言語モデル 音声エンコーダ表現をLLMデコーダにルーティングする。 我々は,デコーダの冗長性は,予め訓練されたLLMから大きく継承されていることを示す。 次に、同じレイヤーブロックが、音声エンコーダ、タスク、言語間で冗長であることを示す。
  論文  参考訳（メタデータ） (2026-03-05T12:50:24Z)
• On the Adversarial Robustness of Discrete Image Tokenizers [56.377796750281796]
  まず、離散トークン化器によって抽出された特徴を摂動させることを目的とした攻撃を定式化し、抽出したトークンを変更する。 我々は、教師なしの敵の訓練で人気のあるトークンライザを微調整し、他のすべてのコンポーネントを凍結させます。 提案手法は,教師なし攻撃とエンドツーエンド攻撃の両方に対するロバスト性を大幅に向上させ,未知のタスクやデータに対して良好に一般化する。
  論文  参考訳（メタデータ） (2026-02-20T14:39:17Z)
• Backdoor Attacks Against Speech Language Models [63.07317091368079]
  本研究は,音声認識モデルに対する音声バックドア攻撃に関する最初の体系的研究である。 4つの音声エンコーダと3つのデータセットにまたがってその効果を実証し、4つのタスクをカバーした。 汚染された事前訓練エンコーダの脅威を軽減できる微調整型防御法を提案する。
  論文  参考訳（メタデータ） (2025-10-01T17:45:04Z)
• Fooling the Decoder: An Adversarial Attack on Quantum Error Correction [49.48516314472825]
  本研究では,基本的なRL曲面符号デコーダ(DeepQ)を目標とし,量子誤り訂正に対する最初の逆攻撃を生成する。 メモリ実験における論理量子ビット寿命を最大5桁まで短縮する攻撃を実証する。 この攻撃は、機械学習ベースのQECの感受性を強調し、堅牢なQEC手法に関するさらなる研究の重要性を強調している。
  論文  参考訳（メタデータ） (2025-04-28T10:10:05Z)
• Robust and Transferable Backdoor Attacks Against Deep Image Compression With Selective Frequency Prior [118.92747171905727]
  本稿では,学習画像の圧縮モデルに複数のトリガを付加したバックドアアタックを起動するための新しい周波数ベースのトリガインジェクションモデルを提案する。 1) 圧縮品質をビットレートと再現精度で劣化させる,2) 顔認識やセマンティックセグメンテーションといったタスク駆動型対策を目標とする,様々なシナリオに適した攻撃目標を設計する。 実験の結果, トリガーインジェクションモデルと, エンコーダパラメータの微調整を組み合わせることで, 複数のバックドアとトリガーを1つの圧縮モデルに注入することができた。
  論文  参考訳（メタデータ） (2024-12-02T15:58:40Z)
• DeDe: Detecting Backdoor Samples for SSL Encoders via Decoders [6.698677477097004]
  自己教師付き学習(SSL)は、大量のラベルのないデータで高品質な上流エンコーダのトレーニングに広く利用されている。 Victim encodersは、インプットとターゲットの埋め込みを関連付け、インプットがアクティブになったときに下流のタスクが意図しない動作を継承する。 本稿では,被害者エンコーダの入力によって引き起こされるバックドアマッピングの活性化を検出する新しい検出機構であるDeDeを提案する。
  論文  参考訳（メタデータ） (2024-11-25T07:26:22Z)
• Pre-trained Encoder Inference: Revealing Upstream Encoders In Downstream Machine Learning Services [10.367966878807714]
  オンラインで利用可能なトレーニング済みエンコーダは、ダウンストリーム機械学習(ML)サービスを構築するために広く採用されている。 我々は、ターゲットとする下流MLサービスから機密エンコーダ情報を抽出できる、事前訓練推論(PEI)攻撃という新たな脆弱性を公表した。
  論文  参考訳（メタデータ） (2024-08-05T20:27:54Z)
• Triple-Encoders: Representations That Fire Together, Wire Together [51.15206713482718]
  コントラスト学習(Contrastive Learning)は、バイエンコーダを介して発話間の相対距離を埋め込み空間に符号化する表現学習法である。 本研究では,これら独立に符号化された発話から分散発話混合物を効率よく計算する三重エンコーダを提案する。 トリプルエンコーダはバイエンコーダよりも大幅に改善され、シングルベクトル表現モデルよりもゼロショットの一般化が向上することがわかった。
  論文  参考訳（メタデータ） (2024-02-19T18:06:02Z)
• Camouflage is all you need: Evaluating and Enhancing Language Model Robustness Against Camouflage Adversarial Attacks [53.87300498478744]
  自然言語処理(NLP)における敵攻撃の意義 本研究は、脆弱性評価とレジリエンス向上という2つの異なる段階において、この課題を体系的に探求する。 結果として、パフォーマンスとロバスト性の間のトレードオフが示唆され、いくつかのモデルは、ロバスト性を確保しながら、同様のパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-02-15T10:58:22Z)
• Double Backpropagation for Training Autoencoders against Adversarial Attack [15.264115499966413]
  本稿では,オートエンコーダに対する敵攻撃に着目した。 本稿では,VAE や DRAW などのオートエンコーダを確保するために,二重バックプロパゲーション (DBP) を採用することを提案する。
  論文  参考訳（メタデータ） (2020-03-04T05:12:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。