論文の概要: From Theft to Bomb-Making: The Ripple Effect of Unlearning in Defending Against Jailbreak Attacks

• arxiv url: http://arxiv.org/abs/2407.02855v3
• Date: Tue, 20 May 2025 05:38:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:51.150415
• Title: From Theft to Bomb-Making: The Ripple Effect of Unlearning in Defending Against Jailbreak Attacks
• Title（参考訳）: 盗難から爆弾まで:脱獄攻撃に対する未学習の波及効果
• Authors: Zhexin Zhang, Junxiao Yang, Yida Lu, Pei Ke, Shiyao Cui, Chujie Zheng, Hongning Wang, Minlie Huang,
• Abstract要約: 大規模言語モデル(LLM)は、ジェイルブレイク攻撃に弱いことが知られている。 LLMは、学習期間中に明示的に導入されなかった有害な知識を暗黙的に引き起こすことができる。 我々は、この現象を実証的に検証し、未学習の手法でアタック成功率を下げることを可能にする。
• 参考スコア（独自算出の注目度）: 85.84979847888157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are known to be vulnerable to jailbreak attacks. An important observation is that, while different types of jailbreak attacks can generate significantly different queries, they mostly result in similar responses that are rooted in the same harmful knowledge (e.g., detailed steps to make a bomb). Consequently, unlearning-based approaches have been proposed to mitigate jailbreak attacks by directly removing harmful knowledge from the model. In this paper, we identify a novel ripple effect of unlearning, wherein LLMs can implicitly unlearn harmful knowledge that was not explicitly introduced during the unlearning phase (e.g., a model unlearning the steps for theft may also implicitly unlearn the steps for making a bomb). Through over 100 experimental runs spanning multiple models, attack strategies, and defense methods, we empirically validate this phenomenon, which makes unlearning-based methods able to decrease the Attack Success Rate on unseen data from more than 70% to less than 10% with only 100 training samples. Further analysis reveals that the strong generalization ability of unlearning may stem from the intrinsic relatedness among harmful responses across harmful questions (e.g., response patterns, shared steps and actions in response, and similarity among their learned representations in the LLM). We also discuss the potential limitations of unlearning and the observed ripple effect. We hope our research could contribute to a deeper understanding of unlearning. Our code is available at https://github.com/thu-coai/SafeUnlearning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ジェイルブレイク攻撃に弱いことが知られている。 重要な観察は、異なるタイプのジェイルブレイク攻撃は、かなり異なるクエリを生成することができるが、ほとんどは同じ有害な知識(例えば、爆弾を作るための詳細な手順)に根ざした同様の反応をもたらすことである。 その結果, モデルから有害な知識を直接取り除き, 脱獄攻撃を緩和するアンラーニングベースのアプローチが提案されている。 本稿では,LLMが未学習期に明示的に導入されていない有害な知識を暗黙的に解き放つという,未学習の新たなリップル効果を同定する(例えば,盗難のステップを未学習で学習するモデルは,爆弾を作るためのステップを暗黙的に解き放つこともある)。 複数のモデル、攻撃戦略、防衛手法にまたがる100以上の実験的な実行を通じて、この現象を実証的に検証し、100のトレーニングサンプルだけで、目に見えないデータに対する攻撃成功率を70%以上から10%未満に下げる未学習ベースの手法を実現する。 さらに分析した結果,無学習の強い一般化能力は,有害な質問に対する有害な応答(例えば,応答パターン,応答における共有ステップと行動,LLMにおける学習表現間の類似性)の内在的関連性に起因する可能性が示唆された。 また、未学習の潜在的な限界と観察されたリップル効果についても論じる。 私たちの研究が、アンラーニングのより深い理解に寄与することを期待しています。 私たちのコードはhttps://github.com/thu-coai/SafeUnlearning.comで利用可能です。

関連論文リスト

• Foot-In-The-Door: A Multi-turn Jailbreak for LLMs [40.958137601841734]
  主な課題はjailbreakで、敵はビルトインのセーフガードをバイパスして有害な出力を誘導する。 心理学的フット・イン・ザ・ドアの原則に着想を得て,新しいマルチターンジェイルブレイク法であるFITDを導入する。 提案手法は,中間的なブリッジプロンプトを通じてユーザクエリの悪意ある意図を段階的にエスカレートし,それ自身でモデル応答を調整し,有害な応答を誘導する。
  論文  参考訳（メタデータ） (2025-02-27T06:49:16Z)
• Speak Easy: Eliciting Harmful Jailbreaks from LLMs with Simple Interactions [11.32190215797298]
  大規模言語モデル(LLM)は、有害な行動を引き起こすジェイルブレイク攻撃に対して脆弱なままである。 悪意のあるユーザは、有害な意図のために、共通のインタラクションパターンを簡単に活用することができます。
  論文  参考訳（メタデータ） (2025-02-06T18:59:02Z)
• Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense [55.77152277982117]
  私たちは、jailbreak攻撃から防御するために設計された方法であるLayer-AdvPatcherを紹介します。 私たちは、自己拡張データセットを通じて、大規模言語モデル内の特定のレイヤにパッチを適用するために、未学習の戦略を使用します。 我々の枠組みは、脱獄攻撃の有害性と攻撃の成功率を減らす。
  論文  参考訳（メタデータ） (2025-01-05T19:06:03Z)
• Shaping the Safety Boundaries: Understanding and Defending Against Jailbreaks in Large Language Models [59.25318174362368]
  大規模言語モデル(LLM)におけるジェイルブレークは、LLMを騙して有害なテキストを生成するというセキュリティ上の問題である。 我々は7つの異なるジェイルブレイク法を詳細に分析し、不一致が不十分な観察サンプルから生じることを確認した。 安全境界内でのアクティベーションを適応的に制限する「textbfActivation Boundary Defense (ABD)」という新しい防衛法を提案する。
  論文  参考訳（メタデータ） (2024-12-22T14:18:39Z)
• Jigsaw Puzzles: Splitting Harmful Questions to Jailbreak Large Language Models [50.89022445197919]
  大規模言語モデル(LLM)は、人間との関わりにおいて卓越した性能を示した。 LLMは脱獄攻撃に弱いため、有害な反応が生じる。 我々は,高度LLMに対する単純かつ効果的なマルチターンジェイルブレイク戦略であるJigsaw Puzzles (JSP)を提案する。
  論文  参考訳（メタデータ） (2024-10-15T10:07:15Z)
• Deciphering the Chaos: Enhancing Jailbreak Attacks via Adversarial Prompt Translation [71.92055093709924]
  そこで本稿では, ガーブレッドの逆数プロンプトを, 一貫性のある, 可読性のある自然言語の逆数プロンプトに"翻訳"する手法を提案する。 また、jailbreakプロンプトの効果的な設計を発見し、jailbreak攻撃の理解を深めるための新しいアプローチも提供する。 本稿では,AdvBench上でのLlama-2-Chatモデルに対する攻撃成功率は90%以上である。
  論文  参考訳（メタデータ） (2024-10-15T06:31:04Z)
• WildTeaming at Scale: From In-the-Wild Jailbreaks to (Adversarially) Safer Language Models [66.34505141027624]
  我々は、WildTeamingを紹介した。これは自動LLM安全リチームフレームワークで、Wild-Chatbotインタラクションをマイニングし、新しいジェイルブレイク戦術の5.7Kのユニークなクラスタを発見する。 WildTeamingは、未確認のフロンティアLSMの脆弱性を明らかにし、最大4.6倍の多様性と敵の攻撃に成功した。
  論文  参考訳（メタデータ） (2024-06-26T17:31:22Z)
• Enhancing Jailbreak Attack Against Large Language Models through Silent Tokens [22.24239212756129]
  既存のジェイルブレイク攻撃では、人間の専門家か、複雑なアルゴリズムを使ってプロンプトを作らなければならない。 eosトークンのみを活用する単純な攻撃であるBOOSTを導入する。 LLMがジェイルブレイク攻撃に対して脆弱であることが判明し、強力な安全アライメントアプローチの開発が動機となった。
  論文  参考訳（メタデータ） (2024-05-31T07:41:03Z)
• SafeDecoding: Defending against Jailbreak Attacks via Safety-Aware Decoding [35.750885132167504]
  我々は,大規模言語モデル(LLM)の安全性を意識したデコーディング戦略であるSafeDecodingを導入し,ユーザクエリに対する有用かつ無害な応答を生成する。 この結果から,SafeDecodingは,ユーザクエリに対する応答の利便性を損なうことなく,攻撃成功率やジェイルブレイク攻撃の有害性を著しく低下させることがわかった。
  論文  参考訳（メタデータ） (2024-02-14T06:54:31Z)
• Comprehensive Assessment of Jailbreak Attacks Against LLMs [28.58973312098698]
  4つのカテゴリから13の最先端ジェイルブレイク法,16の違反カテゴリから160の質問,6つの人気のあるLDMについて検討した。 実験の結果, 最適化されたジェイルブレイクは高い攻撃成功率を確実に達成することが示された。 攻撃性能と効率のトレードオフについて論じるとともに、脱獄プロンプトの転送性は依然として維持可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-08T13:42:50Z)
• Defending Large Language Models Against Jailbreaking Attacks Through Goal Prioritization [98.18718484152595]
  本研究は,学習段階と推論段階の両方において,目標の優先順位付けを統合することで,支援と安全性の確保という目標との本質的な対立に対処することを提案する。 我々の研究は、脱獄攻撃と防衛の理解に寄与し、LLMの能力と安全性の関係に光を当てている。
  論文  参考訳（メタデータ） (2023-11-15T16:42:29Z)
• A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
  大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。 ジェイルブレイク」と呼ばれる 敵のプロンプトは 保護を回避できる 有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-14T16:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。