論文の概要: Minimal, Local, Causal Explanations for Jailbreak Success in Large Language Models
- arxiv url: http://arxiv.org/abs/2605.00123v1
- Date: Thu, 30 Apr 2026 18:22:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 17:43:28.707177
- Title: Minimal, Local, Causal Explanations for Jailbreak Success in Large Language Models
- Title(参考訳): 大規模言語モデルにおけるジェイルブレイク成功のための極小・局所的・因果的説明法
- Authors: Shubham Kumar, Narendra Ahuja,
- Abstract要約: 安全訓練された大規模言語モデル(LLM)は、しばしばジェイルブレイクプロンプトを通じて有害な要求に答えるために誘導される。
そこで我々は,Jailbreakの成功をローカル,CAUSalに説明するためのメソッドであるLOCAを紹介した。
- 参考スコア(独自算出の注目度): 11.120817376473385
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safety trained large language models (LLMs) can often be induced to answer harmful requests through jailbreak prompts. Because we lack a robust understanding of why LLMs are susceptible to jailbreaks, future frontier models operating more autonomously in higher-stakes settings may similarly be vulnerable to such attacks. Prior work has studied jailbreak success by examining the model's intermediate representations, identifying directions in this space that causally encode concepts like harmfulness and refusal. Then, they globally explain all jailbreak attacks as attempting to reduce or strengthen these concepts (e.g., reduce harmfulness). However, different jailbreak strategies may succeed by strengthening or suppressing different intermediate concepts, and the same jailbreak strategy may not work for different harmful request categories (e.g., violence vs. cyberattack); thus, we seek to give a local explanation -- i.e., why did this specific jailbreak succeed? To address this gap, we introduce LOCA, a method that gives Local, CAusal explanations of jailbreak success by identifying a minimal set of interpretable, intermediate representation changes that causally induce model refusal on an otherwise successful jailbreak request. We evaluate LOCA on harmful original-jailbreak pairs from a large jailbreak benchmark across Gemma and Llama chat models, comparing against prior methods adapted to this setting. LOCA can successfully induce refusal by making, on average, six interpretable changes; prior work routinely fails to achieve refusal even after 20 changes. LOCA is a step toward mechanistic, local explanations of jailbreak success in LLMs. Code to be released.
- Abstract(参考訳): 安全訓練された大規模言語モデル(LLM)は、しばしばジェイルブレイクプロンプトを通じて有害な要求に答えるために誘導される。
LLMがジェイルブレイクの影響を受けやすい理由について、私たちはしっかりとした理解を欠いているので、将来のフロンティアモデルはより高度な環境で自律的に動作し、同様にそのような攻撃に対して脆弱である可能性がある。
それまでの研究は、モデルの中間表現を調べ、有害性や拒絶といった概念を因果的に符号化する方向を特定することでジェイルブレイクの成功を研究してきた。
そして、すべてのジェイルブレイク攻撃を、これらの概念(例えば有害性を減らす)を減らそうとするものとして、グローバルに説明します。
しかし、異なるジェイルブレイク戦略は異なる中間概念を強化または抑制することで成功し、同じジェイルブレイク戦略は異なる有害な要求カテゴリ(例えば暴力とサイバー攻撃)で機能しない可能性がある。
このギャップに対処するために,我々はLOCAを導入する。LOCAは,ジェイルブレイクの成功をローカル,CAusalに説明するための手法で,他の方法で成功したジェイルブレイク要求に対するモデル拒絶を因果的に誘発する,最小限の解釈可能な中間表現変化を識別する。
我々は,Gemma と Llama のチャットモデルにまたがる大規模ジェイルブレイクベンチマークから,有害なオリジナルジェイルブレイクペアに対するLOCAを評価する。
LOCAは平均して6つの解釈可能な変更を行うことで拒絶を誘発することができる。
LOCAは、LLMにおけるジェイルブレイクの成功に関する機械的、局所的な説明への一歩である。
リリースするコード。
関連論文リスト
- Many-Turn Jailbreaking [65.04921693379944]
そこで本研究では,JailbreakされたLLMを1つ以上のターゲットクエリで連続的にテストするマルチターンジェイルブレイクについて検討する。
我々は、一連のオープンソースモデルとクローズドソースモデルでこの設定をベンチマークするために、Multi-Turn Jailbreak Benchmark (MTJ-Bench)を構築した。
論文 参考訳(メタデータ) (2025-08-09T00:02:39Z) - Rewrite to Jailbreak: Discover Learnable and Transferable Implicit Harmfulness Instruction [32.49886313949869]
大規模言語モデル(LLM)を攻撃するための移動可能なブラックボックスジェイルブレイク法を提案する。
この書き換えアプローチは学習可能で、転送可能であることが分かりました。
大規模な実験と分析により、R2Jの有効性が示された。
論文 参考訳(メタデータ) (2025-02-16T11:43:39Z) - JailbreakLens: Interpreting Jailbreak Mechanism in the Lens of Representation and Circuit [12.392258585661446]
大規模言語モデル(LLM)はジェイルブレイク攻撃に対して脆弱であり、敵のプロンプトはセキュリティメカニズムをバイパスし、予期せぬ応答を誘発する。
本稿では,Jailbreak機構を表現と回路の両方の観点から解析する解釈フレームワークであるJailbreakLensを提案する。
論文 参考訳(メタデータ) (2024-11-17T16:08:34Z) - SQL Injection Jailbreak: A Structural Disaster of Large Language Models [71.55108680517422]
大規模言語モデル(LLM)は、有害なコンテンツを生成するよう誘導するジェイルブレイク攻撃の影響を受けやすい。
本稿では,LLMの外部特性をターゲットとした新しいジェイルブレイク手法を提案する。
ユーザプロンプトにジェイルブレイク情報を注入することで、SIJは有害なコンテンツを出力するモデルをうまく誘導する。
論文 参考訳(メタデータ) (2024-11-03T13:36:34Z) - EnJa: Ensemble Jailbreak on Large Language Models [69.13666224876408]
大きな言語モデル(LLM)は、安全クリティカルなアプリケーションにますますデプロイされている。
LLMは、悪質なプロンプトを慎重に作り、ポリシーに違反するコンテンツを生成することで、まだジェイルブレイクされる可能性がある。
本稿では,プロンプトレベルのジェイルブレイクを用いて有害な命令を隠蔽し,グラデーションベースの攻撃で攻撃成功率を高め,テンプレートベースのコネクタを介して2種類のジェイルブレイク攻撃を接続する新しいEnJa攻撃を提案する。
論文 参考訳(メタデータ) (2024-08-07T07:46:08Z) - Understanding Jailbreak Success: A Study of Latent Space Dynamics in Large Language Models [4.547063832007314]
単一のクラスからジェイルブレイクベクトルを抽出することで、他のセマンティックな異なるクラスからジェイルブレイクの有効性を緩和することができる。
有害性特徴抑制の潜在的共通メカニズムについて検討し、有効なジェイルブレイクが即時有害性に対するモデルの認識を著しく低下させる証拠を見出した。
論文 参考訳(メタデータ) (2024-06-13T16:26:47Z) - EasyJailbreak: A Unified Framework for Jailbreaking Large Language Models [53.87416566981008]
本稿では,大規模言語モデル(LLM)に対するジェイルブレイク攻撃の構築と評価を容易にする統合フレームワークであるEasyJailbreakを紹介する。
Selector、Mutator、Constraint、Evaluatorの4つのコンポーネントを使ってJailbreak攻撃を構築する。
10の異なるLSMで検証した結果、さまざまなジェイルブレイク攻撃で平均60%の侵入確率で重大な脆弱性が判明した。
論文 参考訳(メタデータ) (2024-03-18T18:39:53Z) - Weak-to-Strong Jailbreaking on Large Language Models [92.52448762164926]
大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。
既存のジェイルブレイク法は計算コストがかかる。
我々は、弱々しく強固な脱獄攻撃を提案する。
論文 参考訳(メタデータ) (2024-01-30T18:48:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。