論文の概要: Circuit Discovery Helps Detect LLM Jailbreaking: A Mechanistic Interpretability Study

• arxiv url: http://arxiv.org/abs/2608.27504v1
• Date: Thu, 27 Aug 2026 04:39:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.088063
• Title: Circuit Discovery Helps Detect LLM Jailbreaking: A Mechanistic Interpretability Study
• Title（参考訳）: LLMの脱獄を検知するサーキットディスカバリ
• Abstract要約: 大規模言語モデル(LLM)は、有害なコンテンツを引き出すための保護をバイパスするジェイルブレイク攻撃に対して脆弱なままである。 大規模で安全性に配慮したLLMにおけるジェイルブレイク動作の力学解析について述べる。
• 参考スコア（独自算出の注目度）: 22.299284723629583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite extensive safety alignment, large language models (LLMs) remain vulnerable to jailbreak attacks that bypass safeguards to elicit harmful content. While prior work attributes this vulnerability to safety training limitations, the internal mechanisms by which LLMs process adversarial prompts remain poorly understood. We present a mechanistic analysis of the jailbreaking behavior in a large-scale, safety-aligned LLM, focusing on LLaMA-2-7B-chat-hf. Leveraging edge attribution patching and subnetwork probing, we systematically identify computational circuits responsible for generating affirmative responses to jailbreak prompts. Ablating these circuits during the first token prediction can reduce attack success rates by up to 80\%, demonstrating its critical role in safety bypass. Our analysis uncovers key attention heads and MLP pathways that mediate adversarial prompt exploitation, revealing how important tokens propagate through these components to override safety constraints. These findings advance the understanding of adversarial vulnerabilities in aligned LLMs and pave the way for targeted, interpretable defense mechanisms based on mechanistic interpretability.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、広範な安全確保にもかかわらず、有害なコンテンツを引き出すための保護をバイパスするジェイルブレイク攻撃に対して脆弱なままである。 以前の作業では、この脆弱性は安全訓練の制限に起因しているが、LLMが処理する内部メカニズムは理解されていないままである。 LLaMA-2-7B-chat-hfに着目し,大規模で安全性に配慮したLLMにおける脱獄挙動の力学解析を行った。 エッジ属性パッチとサブネットワーク探索を利用して、ジェイルブレイクプロンプトに対する肯定的な応答を生成するための計算回路を体系的に同定する。 最初のトークン予測中にこれらの回路を非難することは、攻撃成功率を最大80%削減し、安全バイパスにおいてその重要な役割を示す。 我々の分析は、敵の迅速な搾取を仲介する重要な注意点とMLP経路を明らかにし、安全上の制約を克服するためにトークンがいかに重要かを明らかにした。 これらの知見は,LLMにおける敵の脆弱性の理解を前進させ,機械的解釈可能性に基づく標的的,解釈可能な防御機構を舗装する。

関連論文リスト

• The Struggle Between Continuation and Refusal: A Mechanistic Analysis of the Continuation-Triggered Jailbreak in LLMs [13.727578652091529]
  本研究では,連続トラガードジェイルブレイク現象の本態的なメカニズムについて検討した。 このジェイルブレイク動作は、モデル固有の継続ドライブとアライメントトレーニングによって獲得した安全防御との固有の競合から生じるものであることを示す。
  論文  参考訳（メタデータ） (2026-03-09T11:03:45Z)
• Jailbreaking Leaves a Trace: Understanding and Detecting Jailbreak Attacks from Internal Representations of Large Language Models [2.6140509675507384]
  我々はセキュリティと解釈可能性の両方の観点からジェイルブレイクを研究する。 隠れアクティベーションにおける構造をキャプチャするテンソルベース潜在表現フレームワークを提案する。 以上の結果から,脱獄行動が内部構造に根ざしていることが示唆された。
  論文  参考訳（メタデータ） (2026-02-12T02:43:17Z)
• NeuroBreak: Unveil Internal Jailbreak Mechanisms in Large Language Models [68.09675063543402]
  NeuroBreakは、ニューロンレベルの安全性メカニズムを分析し、脆弱性を軽減するために設計されたトップダウンのジェイルブレイク分析システムである。 レイヤワイドな表現探索分析を取り入れることで、NeuroBreakはモデルの意思決定プロセスに関する新たな視点を提供する。 本システムの有効性を検証するために,定量的評価とケーススタディを実施している。
  論文  参考訳（メタデータ） (2025-09-04T08:12:06Z)
• CAVGAN: Unifying Jailbreak and Defense of LLMs via Generative Adversarial Attacks on their Internal Representations [9.952498288063532]
  セキュリティアライメントにより、Large Language Model(LLM)は悪意のあるクエリに対する保護を得ることができる。 LLMのセキュリティ保護機構を解析し,攻撃と防御を組み合わせた枠組みを提案する。 本手法は, LLM中間層埋め込みの線形分離性, およびジェイルブレイク攻撃の本質に基づく。
  論文  参考訳（メタデータ） (2025-07-08T14:45:21Z)
• Attention Slipping: A Mechanistic Understanding of Jailbreak Attacks and Defenses in LLMs [61.916827858666906]
  私たちは、脱獄攻撃中に起こる普遍的な現象を明らかにします。 Attention Slippingは、勾配ベースのトークン置換、プロンプトレベルのテンプレートリファインメント、コンテキスト内学習など、さまざまなジェイルブレイクメソッドに一貫性があることを示します。 本研究では,温度スケーリングによる注意スコア分布の鮮明化により,注意スライッピングと直接対向する新たな防御法である注意シャープニングを提案する。
  論文  参考訳（メタデータ） (2025-07-06T12:19:04Z)
• Scalable Defense against In-the-wild Jailbreaking Attacks with Safety Context Retrieval [25.17143802138141]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱であり、敵は危険または非倫理的な反応を引き起こすために慎重に設計されたプロンプトを悪用する。 安全コンテキスト検索(SCR, Safety Context Retrieval)は,LLMの脱獄防止のためのスケーラブルで堅牢な安全保護パラダイムである。
  論文  参考訳（メタデータ） (2025-05-21T16:58:14Z)
• Exploring Jailbreak Attacks on LLMs through Intent Concealment and Diversion [1.0291559330120414]
  大規模言語モデル(LLM)は目覚ましい進歩を遂げているが、そのセキュリティは依然として懸念されている。 主要な脅威の1つはジェイルブレイク攻撃であり、敵はモデル保護をバイパスして有害または好ましくないコンテンツを生成する。 Intent ConcealmentとdivErsionを用いてセキュリティ制約を効果的に回避する新しいブラックボックスジェイルブレイク手法ICEを提案する。
  論文  参考訳（メタデータ） (2025-05-20T13:03:15Z)
• Why Not Act on What You Know? Unleashing Safety Potential of LLMs via Self-Aware Guard Enhancement [48.50995874445193]
  大規模言語モデル(LLM)は、様々なタスクにわたって印象的な機能を示しているが、細心の注意を払って構築されたジェイルブレイク攻撃には弱いままである。 SAGE(Self-Aware Guard Enhancement)は,LSMの強い安全識別性能と比較的弱い安全生成能力とを整合させる訓練不要防衛戦略である。
  論文  参考訳（メタデータ） (2025-05-17T15:54:52Z)
• Cannot See the Forest for the Trees: Invoking Heuristics and Biases to Elicit Irrational Choices of LLMs [83.11815479874447]
  本研究では,人間の認知における認知的分解と偏見に触発された新しいジェイルブレイク攻撃フレームワークを提案する。 我々は、悪意のあるプロンプトの複雑さと関連バイアスを減らし、認知的分解を用いて、プロンプトを再編成する。 また、従来の二分的成功または失敗のパラダイムを超越したランキングベースの有害度評価指標も導入する。
  論文  参考訳（メタデータ） (2025-05-03T05:28:11Z)
• Look Before You Leap: Enhancing Attention and Vigilance Regarding Harmful Content with GuidelineLLM [53.79753074854936]
  大規模言語モデル(LLM)は、出現するジェイルブレイク攻撃に対してますます脆弱である。 この脆弱性は現実世界のアプリケーションに重大なリスクをもたらす。 本稿では,ガイドラインLLMという新しい防御パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-12-10T12:42:33Z)
• How Alignment and Jailbreak Work: Explain LLM Safety through Intermediate Hidden States [65.45603614354329]
  大規模言語モデル(LLM)は、悪意のあるユーザ入力に対する応答を避けるために、安全アライメントに依存している。 ジェイルブレイクは安全ガードレールを回避でき、LLMは有害な内容を生成する。 中間隠蔽状態を通してLSMの安全性を説明するために弱い分類器を用いる。
  論文  参考訳（メタデータ） (2024-06-09T05:04:37Z)
• Defensive Prompt Patch: A Robust and Interpretable Defense of LLMs against Jailbreak Attacks [59.46556573924901]
  本稿では,大規模言語モデル(LLM)のための新しいプロンプトベースの防御機構であるDPPを紹介する。 従来のアプローチとは異なり、DPP は LLM の高能率を維持しながら最小の攻撃成功率 (ASR) を達成するように設計されている。 LLAMA-2-7B-ChatおよびMistral-7B-Instruct-v0.2モデルによる実験結果から,DSPの堅牢性と適応性が確認された。
  論文  参考訳（メタデータ） (2024-05-30T14:40:35Z)
• Revisiting Jailbreaking for Large Language Models: A Representation Engineering Perspective [43.94115802328438]
  最近のジェイルブレイク攻撃の急増により、悪意のある入力に晒された場合、Large Language Models(LLM)の重大な脆弱性が明らかになった。 LLMの自己保護能力は,その表現空間内の特定の行動パターンと関係があることが示唆された。 これらのパターンは,数対のコントラストクエリで検出可能であることを示す。
  論文  参考訳（メタデータ） (2024-01-12T00:50:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。