論文の概要: The Safety Relay in Roleplay Jailbreaks: A Component-Resolved Causal Analysis of Harm Recognition and Refusal
- arxiv url: http://arxiv.org/abs/2608.30585v1
- Date: Mon, 31 Aug 2026 11:03:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.357363
- Title: The Safety Relay in Roleplay Jailbreaks: A Component-Resolved Causal Analysis of Harm Recognition and Refusal
- Title（参考訳）: ロールプレイジェイルブレイクにおける安全リレー--ハーム認識と拒絶の成分解決因果解析
- Abstract要約: 危害の証拠が残されているにもかかわらず、ロールプレイがコンプライアンスをいかに生み出すかを示す。
我々は、危険認識から拒絶への接続の維持という、将来の安全を守るための具体的な目標を特定した。
- 参考スコア（独自算出の注目度）: 9.690793619550654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are trained to follow instructions while refusing harmful requests. Jailbreaks exploit this balance to elicit content a model would ordinarily reject. Roleplay jailbreaks are especially concerning: the harmful request can remain visible inside a roleplay wrapper made of a persona, scenario, and task, yet the model may comply. We use mechanistic interpretability to determine how this context reverses refusal and which elements contribute to the reversal. Across two benchmarks, three model families, and four authored wrappers, we compare matched harmful and benign requests with and without this wrapper. We trace hidden-state contrasts from the request to the final prompt state, isolate wrapper operations through controlled counterfactuals, intervene on their activation directions in held-out evaluation requests, and decompose effective directions geometrically. Our analysis yields three findings. (1) Successful attacks retain the measured harmful-versus-benign distinction at the request, while its refusal-associated expression weakens where the answer begins, a pattern we call safety-relay attenuation. (2) Constructing the complete roleplay around the request and framing it within the scenario contribute causally: removing the associated activation changes restores refusal. (3) These effects largely share internal structure, and most repair is reproduced by components aligned with the model's ordinary refusal of harmful requests without roleplay; scenario framing retains a smaller, model-dependent component. Together, these findings explain how roleplay can produce compliance despite retained evidence of harm and identify a concrete target for future safeguards: maintaining the connection from harm recognition to refusal.
- Abstract（参考訳）: 大規模な言語モデルは、有害な要求を拒否しながら命令に従うように訓練されている。
ジェイルブレイクは、このバランスを利用して、モデルが通常拒否するコンテンツを引き出す。
有害な要求は、ペルソナ、シナリオ、タスクで構成されたロールプレイラッパー内で見ることができるが、モデルは従うことができる。
我々は、機械論的解釈可能性を用いて、この文脈が拒否を逆転させるか、どの要素が逆転に寄与するかを決定する。
2つのベンチマーク、3つのモデルファミリー、4つのオーサライザラッパーを比較し、有害なリクエストと良質なリクエストをラッパーなしで比較した。
我々は、要求から最終プロンプト状態への隠れ状態のコントラストを追跡、制御されたファクトファクトを介してラッパー操作を分離し、保持された評価要求においてそれらの活性化方向に介入し、幾何学的に有効方向を分解する。
私たちの分析は3つの結果をもたらす。
1) 攻撃が成功しても, 要求時の有害・不利な区別は維持され, 拒絶関連表現は応答開始箇所を弱め, 安全・遅延減衰と呼ぶパターンが得られた。
2) 要求を取り巻くロールプレイの完全な構成とシナリオ内でのフレーミングは、慎重に寄与する: 関連するアクティベーション変更の削除は、拒否する。
(3)これらの効果は主に内部構造を共有しており、ほとんどの修復は、ロールプレイなしで有害な要求を通常拒否するコンポーネントによって再現されます。
これらの知見は, 危険の証拠が残されているにもかかわらず, ロールプレイがコンプライアンスをいかに生み出すかを説明するとともに, 危険認識から拒絶へのつながりの維持という, 将来の安全のための具体的な目標を特定する。
関連論文リスト
- Automatic Red Teaming for Implicit Vulnerabilities of Text-to-Image Models [58.59008920408855]
本稿では,ターゲットモデルのパラメータへのアクセスを必要とせずに,暗黙の脆弱性を明らかにするためのAdvPIE(Adversarial Probing for Implicit VulnErabilities)を提案する。
AdvPIEは、審査員からのフィードバックに基づいて暗黙の敵のプロンプトを生成し、洗練するためのポリシーエージェントを採用する。
標準および安全性に適合したT2Iモデルの実験では、AdvPIE1が暗黙の脆弱性を効果的に発見している。
論文 参考訳（メタデータ） (2026-09-05T13:45:09Z) - Refuse without Refusal: A Structural Analysis of Safety-Tuning Responses for Reducing False Refusals in Language Models [7.073710587892435]
また, 否定文は, 表面的手がかりに依存することによって, 有害問合せと良性問合せの正確な識別を阻害することを示した。
また,合理性のみを訓練することで,同等の安全性能を維持しながら誤認を低減できることを示す。
論文 参考訳（メタデータ） (2026-09-04T04:37:10Z) - Cross-Session Decomposition Attacks: Scaling Risk and Intent-Aligned Retrieval Defense [49.05879299987137]
言語モデリングの損失の低減は、より有用なモデルを生み出します。
本研究は,このメカニズムの安全性について,独立した相互作用を通じて,良質なサブクエリが要求され,後に禁忌の対象へと再帰される,エンフクロス・セッション分解攻撃(enmphcross-session decomposition attack)における研究である。
我々は、この設定をEmphcompositional safety riskとして定式化し、条件付きリスク-転送境界を証明する。
論文 参考訳（メタデータ） (2026-08-28T05:39:29Z) - Compositional Threat Analysis of Latent Compromise in LLM Agent Systems: The Order 66 Scenario [1.5752282186775997]
本稿では,この機構をツール利用大規模言語モデル(LLM)エージェントの起点中性セキュリティ解析に変換する。
代表的なシナリオは、デプロイされたアーティファクトまたは共有メモリに、休眠中の破壊的なルールと、それを起動する後続の電子メール、ドキュメント、更新、あるいはピアメッセージと、運用と回復の権限を付与するエージェントを組み合わせたものである。
論文 参考訳（メタデータ） (2026-08-08T13:35:35Z) - Do LLMs Know Their Vulnerable Scenarios? [35.22432085632252]
本研究は, シナリオラッパーが内部シナリオの方向を活性化し, 因果的ステアリングが拒絶スコアを一定に減少させることを示す。
弱いシナリオ発見のための概念ベースの属性フレームワークであるtextscConcept2Scenario を提案する。
論文 参考訳（メタデータ） (2026-07-26T06:54:28Z) - Adaptive Capitulation: A Structural Failure Mode of LLM Responses in Vulnerability Contexts [0.0]
トリレンマは偶発的ではなく構造的であることを示し, 最小帰属的充足性(MRS)を提案する。
MRSは、検証された応答の中に単一の再帰的キューを埋め込み、ユーザの指定した目標に異議を唱えることなく、自律的な再帰への経路を保存する。
論文 参考訳（メタデータ） (2026-07-21T23:38:59Z) - TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。
我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。
我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
論文 参考訳（メタデータ） (2026-04-30T13:44:01Z) - CUE-R: Beyond the Final Answer in Retrieval-Augmented Generation [0.996038809132083]
CUE-Rは、単発RAGにおいて、エビデンス単位の操作性を測定するためのフレームワークである。
CUE-RはREMOVE、REPLACE、DUPLICATE演算子を介して個々の証拠項目を摂動し、3つのユーティリティ軸に沿って変化を測定する。
その結果,回答のみの評価は重要なエビデンス効果を見逃し,介入に基づくユーティリティ分析がRAG評価の実践的補完となることが示唆された。
論文 参考訳（メタデータ） (2026-04-07T06:05:08Z) - Learning to Extract Context for Context-Aware LLM Inference [60.376872353918394]
大型言語モデル(LLM)へのユーザープロンプトは曖昧か不明確であることが多い。
ユーザの意図、事前知識、リスク要因によって形成されるコンテキスト的手がかりは、適切な応答を構成するものに影響を与える。
本稿では,ユーザプロンプト自体からコンテキスト情報を抽出し,活用するフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-12T19:10:08Z) - Illusions of Relevance: Using Content Injection Attacks to Deceive Retrievers, Rerankers, and LLM Judges [52.96987928118327]
検索,リランカー,大型言語モデル(LLM)の埋め込みモデルは,コンテンツインジェクション攻撃に対して脆弱であることがわかった。
主な脅威は,(1) 意味不明な内容や有害な内容の挿入,(2) 関連性を高めるために,問合せ全体あるいはキークエリ用語の挿入,の2つである。
本研究は, 注射内容の配置や関連物質と非関連物質とのバランスなど, 攻撃の成功に影響を与える要因を系統的に検討した。
論文 参考訳（メタデータ） (2025-01-30T18:02:15Z) - Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。
PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。
これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
論文 参考訳（メタデータ） (2025-01-03T15:40:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。