論文の概要: Attention Slipping: A Mechanistic Understanding of Jailbreak Attacks and Defenses in LLMs

• arxiv url: http://arxiv.org/abs/2507.04365v1
• Date: Sun, 06 Jul 2025 12:19:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.141439
• Title: Attention Slipping: A Mechanistic Understanding of Jailbreak Attacks and Defenses in LLMs
• Title（参考訳）: 注意滑り: LLMにおける脱獄攻撃と防衛の機械的理解
• Authors: Xiaomeng Hu, Pin-Yu Chen, Tsung-Yi Ho,
• Abstract要約: 私たちは、脱獄攻撃中に起こる普遍的な現象を明らかにします。 Attention Slippingは、勾配ベースのトークン置換、プロンプトレベルのテンプレートリファインメント、コンテキスト内学習など、さまざまなジェイルブレイクメソッドに一貫性があることを示します。 本研究では,温度スケーリングによる注意スコア分布の鮮明化により,注意スライッピングと直接対向する新たな防御法である注意シャープニングを提案する。
• 参考スコア（独自算出の注目度）: 61.916827858666906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) become more integral to society and technology, ensuring their safety becomes essential. Jailbreak attacks exploit vulnerabilities to bypass safety guardrails, posing a significant threat. However, the mechanisms enabling these attacks are not well understood. In this paper, we reveal a universal phenomenon that occurs during jailbreak attacks: Attention Slipping. During this phenomenon, the model gradually reduces the attention it allocates to unsafe requests in a user query during the attack process, ultimately causing a jailbreak. We show Attention Slipping is consistent across various jailbreak methods, including gradient-based token replacement, prompt-level template refinement, and in-context learning. Additionally, we evaluate two defenses based on query perturbation, Token Highlighter and SmoothLLM, and find they indirectly mitigate Attention Slipping, with their effectiveness positively correlated with the degree of mitigation achieved. Inspired by this finding, we propose Attention Sharpening, a new defense that directly counters Attention Slipping by sharpening the attention score distribution using temperature scaling. Experiments on four leading LLMs (Gemma2-9B-It, Llama3.1-8B-It, Qwen2.5-7B-It, Mistral-7B-It v0.2) show that our method effectively resists various jailbreak attacks while maintaining performance on benign tasks on AlpacaEval. Importantly, Attention Sharpening introduces no additional computational or memory overhead, making it an efficient and practical solution for real-world deployment.
• Abstract（参考訳）: 大規模言語モデル(LLM)が社会や技術にとってより不可欠なものとなるにつれて、その安全性が不可欠になる。 ジェイルブレイク攻撃は安全ガードレールをバイパスする脆弱性を悪用し、重大な脅威となった。 しかし、これらの攻撃を可能にするメカニズムはよく理解されていない。 本稿では,ジェイルブレイク攻撃時に発生する普遍的な現象を明らかにする。 この現象の間、モデルは攻撃プロセス中にユーザクエリでアンセーフリクエストに割り当てる注意を徐々に減らし、最終的にジェイルブレイクを引き起こします。 Attention Slippingは、勾配ベースのトークン置換、プロンプトレベルのテンプレートリファインメント、コンテキスト内学習など、さまざまなジェイルブレイクメソッドに一貫性があることを示します。 さらに,クエリの摂動に基づく2つのディフェンス,Token Highlighter と SmoothLLM を評価し,これらのディフェンスは間接的に注意スライッピングを緩和し,その効果は緩和度と正の相関を示した。 この発見に触発されて、温度スケーリングを用いて注意点分布を鋭くすることで、注意スライッピングと直接対決する新しい防御法である注意シャープニングを提案する。 4つの主要なLCM(Gemma2-9B-It, Llama3.1-8B-It, Qwen2.5-7B-It, Mistral-7B-It v0.2)実験により,AlpacaEvalの良質なタスクの性能を維持しつつ,様々なジェイルブレイク攻撃を効果的に防ぐことができた。 重要なことは、Attention Sharpeningは計算やメモリのオーバーヘッドを追加しないため、現実のデプロイメントにおいて効率的で実用的なソリューションである。

関連論文リスト

• DETAM: Defending LLMs Against Jailbreak Attacks via Targeted Attention Modification [18.006622965818856]
  我々は,LDMのジェイルブレイク攻撃に対する防御能力を向上する,微調整不要な防御手法であるDETAMを紹介する。 具体的には,ジェイルブレイク攻撃に敏感なアテンションヘッドを識別するために,防衛の成功と失敗の間のアテンションスコアの差を分析した。 推論中、攻撃トークンからの干渉を最小限に抑え、ユーザーの中核的な意図を強調するために注意を向ける。
  論文  参考訳（メタデータ） (2025-04-18T09:02:12Z)
• Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense [55.77152277982117]
  私たちは、jailbreak攻撃から防御するために設計された方法であるLayer-AdvPatcherを紹介します。 私たちは、自己拡張データセットを通じて、大規模言語モデル内の特定のレイヤにパッチを適用するために、未学習の戦略を使用します。 我々の枠組みは、脱獄攻撃の有害性と攻撃の成功率を減らす。
  論文  参考訳（メタデータ） (2025-01-05T19:06:03Z)
• Shaping the Safety Boundaries: Understanding and Defending Against Jailbreaks in Large Language Models [55.253208152184065]
  大規模言語モデル(LLM)におけるジェイルブレークは、LLMを騙して有害なテキストを生成するというセキュリティ上の問題である。 我々は7つの異なるジェイルブレイク法を詳細に分析し、不一致が不十分な観察サンプルから生じることを確認した。 安全境界内でのアクティベーションを適応的に制限する「textbfActivation Boundary Defense (ABD)」という新しい防衛法を提案する。
  論文  参考訳（メタデータ） (2024-12-22T14:18:39Z)
• Deciphering the Chaos: Enhancing Jailbreak Attacks via Adversarial Prompt Translation [71.92055093709924]
  そこで本稿では, ガーブレッドの逆数プロンプトを, 一貫性のある, 可読性のある自然言語の逆数プロンプトに"翻訳"する手法を提案する。 また、jailbreakプロンプトの効果的な設計を発見し、jailbreak攻撃の理解を深めるための新しいアプローチも提供する。 本稿では,AdvBench上でのLlama-2-Chatモデルに対する攻撃成功率は90%以上である。
  論文  参考訳（メタデータ） (2024-10-15T06:31:04Z)
• MoJE: Mixture of Jailbreak Experts, Naive Tabular Classifiers as Guard for Prompt Attacks [2.873719680183099]
  本稿では,大規模言語モデル(LLM)における脱獄予防の重要性を論じる。 我々は,既存の最先端ガードレールの限界を超えるよう設計された,新しいガードレールアーキテクチャであるMoJEを紹介する。 MoJEは、モデル推論中に最小限の計算オーバーヘッドを維持しながら、ジェイルブレイク攻撃の検出に優れる。
  論文  参考訳（メタデータ） (2024-09-26T10:12:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。