論文の概要: The Dual Power of Interpretable Token Embeddings: Jailbreaking Attacks and Defenses for Diffusion Model Unlearning

• arxiv url: http://arxiv.org/abs/2504.21307v2
• Date: Mon, 02 Jun 2025 01:10:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 20:53:53.138414
• Title: The Dual Power of Interpretable Token Embeddings: Jailbreaking Attacks and Defenses for Diffusion Model Unlearning
• Title（参考訳）: 解釈可能なToken埋め込みのデュアルパワー:拡散モデル学習におけるジェイルブレイク攻撃と防御
• Authors: Siyi Chen, Yimeng Zhang, Sijia Liu, Qing Qu,
• Abstract要約: 本稿では,解釈可能なアタックトークンの埋め込みを学習するアタック手法を提案する。 攻撃トークンの埋め込みは、テキストプロンプト、初期ノイズ、未学習モデル間で転送可能である。 我々は、未学習モデルと既存のジェイルブレイク攻撃の両方から保護する防衛方法を開発した。
• 参考スコア（独自算出の注目度）: 17.502599682445382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the remarkable generation capabilities of diffusion models, recent studies have shown that they can memorize and create harmful content when given specific text prompts. Although fine-tuning approaches have been developed to mitigate this issue by unlearning harmful concepts, these methods can be easily circumvented through jailbreaking attacks. This implies that the harmful concept has not been fully erased from the model. However, existing jailbreaking attack methods, while effective, lack interpretability regarding why unlearned models still retain the concept, thereby hindering the development of defense strategies. In this work, we address these limitations by proposing an attack method that learns an orthogonal set of interpretable attack token embeddings. The attack token embeddings can be decomposed into human-interpretable textual elements, revealing that unlearned models still retain the target concept through implicit textual components. Furthermore, these attack token embeddings are powerful and transferable across text prompts, initial noises, and unlearned models, emphasizing that unlearned models are more vulnerable than expected. Finally, building on the insights from our interpretable attack, we develop a defense method to protect unlearned models against both our proposed and existing jailbreaking attacks. Extensive experimental results demonstrate the effectiveness of our attack and defense strategies.
• Abstract（参考訳）: 拡散モデルの顕著な生成能力にもかかわらず、最近の研究では、特定のテキストプロンプトが与えられたときに有害なコンテンツを記憶し、生成できることが示されている。 有害な概念を学習しないことによってこの問題を軽減するための微調整手法が開発されているが、これらの手法は脱獄攻撃によって容易に回避できる。 これは、有害な概念がモデルから完全に削除されていないことを意味する。 しかし、既存のジェイルブレイク攻撃手法は効果があるものの、なぜ未学習のモデルがコンセプトを維持しているのかを解釈できないため、防衛戦略の開発を妨げている。 本研究では,これらの制約に対処するために,直交した解釈可能な攻撃トークンの埋め込みを学習するアタック手法を提案する。 攻撃トークンの埋め込みは、人間の解釈可能なテキスト要素に分解することができる。 さらに、これらの攻撃トークンの埋め込みは、テキストプロンプト、初期ノイズ、未学習モデル間で強力で転送可能であり、未学習モデルが予想以上に脆弱であることを強調している。 最後に,我々の解釈可能な攻撃からの洞察に基づいて,提案手法と既存の脱獄攻撃に対する未学習モデルを保護する防衛手法を開発した。 大規模な実験結果から,攻撃戦略と防衛戦略の有効性が示された。

関連論文リスト

• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [51.51850981481236]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• Jailbreaking? One Step Is Enough! [6.142918017301964]
  大規模言語モデル(LLM)は様々なタスクで優れるが、敵が有害な出力を生成するプロンプトを操作するジェイルブレイク攻撃に弱いままである。 本稿では,攻撃意図を「防御」意図と偽装するリバース・エンベッドド・ディフェンス・アタック(REDA)機構を提案する。 モデルの「防御的」意図における信頼性とガイダンスを高めるため、少数の攻撃例を含む文脈内学習(ICL)を採用する。
  論文  参考訳（メタデータ） (2024-12-17T07:33:41Z)
• Defense Against Prompt Injection Attack by Leveraging Attack Techniques [66.65466992544728]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクで顕著なパフォーマンスを実現している。 LLMが進化を続けるにつれて、新しい脆弱性、特にインジェクション攻撃が発生する。 近年の攻撃手法は, LLMの命令追従能力とデータ内容に注入された命令を識別する能力を活用している。
  論文  参考訳（メタデータ） (2024-11-01T09:14:21Z)
• Revealing Vulnerabilities of Neural Networks in Parameter Learning and Defense Against Explanation-Aware Backdoors [2.1165011830664673]
  ブラディング攻撃は、機械学習アルゴリズムの予測と説明を大きく変える可能性がある。 我々は統計的解析を利用して、目隠し攻撃後のCNN内のCNN重みの変化を明らかにする。 本研究では,評価段階における攻撃の有効性を限定する手法を提案する。
  論文  参考訳（メタデータ） (2024-03-25T09:36:10Z)
• Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
  マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。 バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む 我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
  論文  参考訳（メタデータ） (2024-03-24T18:33:15Z)
• Mutual-modality Adversarial Attack with Semantic Perturbation [81.66172089175346]
  本稿では,相互モダリティ最適化スキームにおける敵攻撃を生成する新しい手法を提案する。 我々の手法は最先端の攻撃方法より優れており、プラグイン・アンド・プレイ・ソリューションとして容易にデプロイできる。
  論文  参考訳（メタデータ） (2023-12-20T05:06:01Z)
• AutoDAN: Interpretable Gradient-Based Adversarial Attacks on Large Language Models [55.748851471119906]
  LLM(Large Language Models)の安全性の整合性は、手動のジェイルブレイク攻撃や(自動)敵攻撃によって損なわれる可能性がある。 最近の研究は、これらの攻撃に対する防御が可能であることを示唆している。敵攻撃は無限だが読めないジベリッシュプロンプトを生成し、難易度に基づくフィルタによって検出できる。 両攻撃の強度をマージする,解釈可能な勾配に基づく対向攻撃であるAutoDANを導入する。
  論文  参考訳（メタデータ） (2023-10-23T17:46:07Z)
• Isolation and Induction: Training Robust Deep Neural Networks against Model Stealing Attacks [51.51023951695014]
  既存のモデル盗難防衛は、被害者の後部確率に偽りの摂動を加え、攻撃者を誤解させる。 本稿では,モデルステルス防衛のための新規かつ効果的なトレーニングフレームワークである分離誘導(InI)を提案する。 モデルの精度を損なうモデル予測に摂動を加えるのとは対照的に、我々はモデルを訓練して、盗むクエリに対して非形式的なアウトプットを生成する。
  論文  参考訳（メタデータ） (2023-08-02T05:54:01Z)
• I Know What You Trained Last Summer: A Survey on Stealing Machine Learning Models and Defences [0.1031296820074812]
  本研究では,モデル盗難攻撃について検討し,その性能を評価し,異なる環境で対応する防御技術を探究する。 攻撃・防衛アプローチのための分類法を提案し,目標と利用可能な資源に基づいて適切な攻撃・防衛を選択する方法に関するガイドラインを提供する。
  論文  参考訳（メタデータ） (2022-06-16T21:16:41Z)
• Target Model Agnostic Adversarial Attacks with Query Budgets on Language Understanding Models [14.738950386902518]
  攻撃対象モデルに対して高い攻撃伝達性を有する目標モデル逆攻撃法を提案する。 実験により,本手法は,限られたクエリ予算の制約の下で,高度に伝達可能な文を生成することを示す。
  論文  参考訳（メタデータ） (2021-06-13T17:18:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。