論文の概要: TRACE: Trajectory Aware Reasoning for Multi-Turn Adversarial Conversation Evaluation
- arxiv url: http://arxiv.org/abs/2608.15594v1
- Date: Sun, 16 Aug 2026 07:32:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.357974
- Title: TRACE: Trajectory Aware Reasoning for Multi-Turn Adversarial Conversation Evaluation
- Title（参考訳）: TRACE:多段階対話評価のための軌道認識推論
- Abstract要約: 軌道認識型構造化推論を用いたマルチターンディフェンスであるTraceを導入する。
操作キューを軌跡から識別し、ユーザ意図の良識と敵意の両方の解釈を評価し、ジェイルブレイクスコアを割り当て、アクションにコミットする。
平均攻撃成功率(ASR)は14.5%、最強のベースラインは31.4%、未防御のターゲットは74.9%である。
- 参考スコア（独自算出の注目度）: 19.39203198049072
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-turn jailbreak attacks have emerged as a critical safety threat to LLMs, as harmful objectives are decomposed across a sequence of apparently benign turns to bypass guardrails. Existing defenses lack the reasoning capacity to identify evolving manipulation patterns, often trading helpfulness for safety by over-refusing benign requests related to sensitive topics. We introduce Trace, a multi-turn defense with trajectory-aware structured reasoning. Before generating each response, the model identifies manipulation cues from the trajectory, evaluates both the benign and adversarial interpretations of user intent, assigns a jailbreak score, and commits to an action: Allow, Caution, or Decline. We curate 4k multi-turn adversarial conversations from five attack frameworks, pair them with 2.4k benign dialogs, and 600 sensitive-but-benign conversations. We train Llama-3.1-8B-Instruct with SFT and GRPO under a multi-component reward that jointly optimizes helpfulness on benign prompts and robustness against jailbreak attempts. Across seven multi-turn attack benchmarks, Trace attains an average attack success rate (ASR) of 14.5% against 31.4% for the strongest baseline and 74.9% for the undefended target, while significantly raising the attacker effort required per successful jailbreak. Trace also balances usability and safety, achieving a 93.3% average compliance on over-refusal benchmarks.
- Abstract（参考訳）: LLMにとって重要な安全上の脅威として、多ターンの脱獄攻撃が出現している。
既存の防御は、進化する操作パターンを特定するための推論能力に欠けており、しばしば、センシティブなトピックに関連する良心的な要求を過度に拒否することによって、安全のための有用な取引を行う。
軌道認識型構造化推論を用いたマルチターンディフェンスであるTraceを導入する。
各応答を生成する前に、モデルは、軌道からの操作キューを特定し、ユーザ意図の良さと敵意の両方の解釈を評価し、ジェイルブレイクスコアを割り当て、アクションにコミットする: Allow, Caution, Decline。
我々は、5つの攻撃フレームワークから4kのマルチターン対向会話をキュレートし、2.4kの良性対話と600の敏感だが良性な会話と組み合わせた。
Llama-3.1-8B-Instruct with SFT and GRPO under a multi-component reward, which is jointly optimizationness on beign prompts and robustness against jailbreak attempt。
7つのマルチターン攻撃ベンチマークで、Traceの攻撃成功率は14.5%、最強のベースラインは31.4%、未防御のターゲットは74.9%となり、ジェイルブレイクの成功に要する攻撃の労力は大幅に増加した。
トレーサはユーザビリティと安全性のバランスもとっており、オーバーリフレッシュベンチマークにおける平均コンプライアンスは93.3%に達する。
関連論文リスト
- AlcaTRAz - Anchored Tree-Rule Defense Against Jailbreaks [0.08699280339422538]
大規模言語モデル(LLM)は、慎重に構築されたプロンプトを通じて安全アライメントをバイパスするジェイルブレイク攻撃に対して脆弱である。
本稿では,AlcaTRAzを提案する。AlcaTRAzは,入力テキストのみで動作するルールツリーに基づく,プロンプトレベルの防御手法である。
提案手法は,33のオープンウェイトモデル,22のジェイルブレイク攻撃タイプ,および短い単ターンベニグナーのベンチマークで評価した。
論文 参考訳（メタデータ） (2026-09-03T11:30:08Z) - Scalable Hierarchical Attention Transformers for Multi-Turn Jailbreak Detection in Long Conversations [1.8565979134741906]
マルチターンジェイルブレイクは、対話中に安全でない意図を広げることで、ターンレベルのモデレーションを回避することができる。
本稿では,高コストの長文結合を回避する効率的な階層型検出器を提案する。
提案手法は14,038会話のベンチマークで0.9394のF1を達成する。
論文 参考訳（メタデータ） (2026-06-19T04:05:43Z) - Defending Jailbreak Attacks on Large Language Models via Manifold Trajectory Kinetics [50.36375380196006]
ジェイルブレイクプロンプトは、大規模な言語モデルにおけるアライメントガードレールをバイパスすることができる。
先行検出アプローチは固定距離空間に大きく依存する。
この仮定は,意図によって無視されるが,安全関連キーワードを含む疑似悪質なプロンプトの下で破られることを示す。
本稿では, LLM を入力を出力に変換する運動系として扱う Manifold Trajectory Kinetics (MTK) を提案する。
論文 参考訳（メタデータ） (2026-06-05T14:49:26Z) - Reflect-Guard: Enhancing LLM Safeguards against Adversarial Prompts via Logical Self-Reflection [5.902327401962825]
リフレクション・ガード(Reflector-Guard)は,LLMに基づく安全分類器をチェーン・オブ・フォア・セルフ・リフレクション機能で拡張する手法である。
提案手法は,GPT-4o-miniから構造化アノテーションへの解析的推論を蒸留し,QLoRAを介してLlama-Guard-3-8Bを訓練し,論理的自己回帰を生成する。
たった1000のトレーニング例とわずか0.5%のモデルパラメータを使って、Reflect-Guardは2つの挑戦的なベンチマークで大幅に改善した。
論文 参考訳（メタデータ） (2026-05-24T02:58:21Z) - Exploring the Vulnerability of the Content Moderation Guardrail in Large Language Models via Intent Manipulation [29.8288014123234]
本研究では,意図認識型ガードレールの脆弱性を調査し,大規模言語モデルが暗黙の意図検出能力を示すことを示す。
IntentPromptという2段階のインテントベースのプロンプトリファインメントフレームワークを提案し、まず有害な問い合わせを構造化されたアウトラインに変換し、さらに宣言的なスタイルの物語に再構成する。
われわれのフレームワークは、最先端のジェイルブレイク手法を一貫して上回り、さらに高度なIntent Analysis(IA)とChain-of-Thought(CoT)ベースの防御を回避している。
論文 参考訳（メタデータ） (2025-05-24T06:47:32Z) - SafeDialBench: A Fine-Grained Safety Benchmark for Large Language Models in Multi-Turn Dialogues with Diverse Jailbreak Attacks [90.41592442792181]
大規模言語モデル(LLM)の安全性を評価するための詳細なベンチマーク SafeDialBench を提案する。
具体的には,6つの安全次元を考慮した2階層型階層型安全分類法を設計し,22の対話シナリオの下で中国語と英語の双方で4000以上のマルチターン対話を生成する。
特に,LLMの革新的なアセスメントフレームワークを構築し,安全でない情報を検出し,処理し,ジェイルブレイク攻撃時の一貫性を維持する。
論文 参考訳（メタデータ） (2025-02-16T12:08:08Z) - Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。
有害なクエリを良心的な推論タスクに再構成する。
RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
論文 参考訳（メタデータ） (2025-02-16T09:27:44Z) - Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。
PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。
これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
論文 参考訳（メタデータ） (2025-01-03T15:40:03Z) - Jigsaw Puzzles: Splitting Harmful Questions to Jailbreak Large Language Models [50.89022445197919]
大規模言語モデル(LLM)は、人間との関わりにおいて卓越した性能を示した。
LLMは脱獄攻撃に弱いため、有害な反応が生じる。
我々は,高度LLMに対する単純かつ効果的なマルチターンジェイルブレイク戦略であるJigsaw Puzzles (JSP)を提案する。
論文 参考訳（メタデータ） (2024-10-15T10:07:15Z) - Defending Large Language Models Against Jailbreaking Attacks Through Goal Prioritization [98.18718484152595]
本研究は,学習段階と推論段階の両方において,目標の優先順位付けを統合することで,支援と安全性の確保という目標との本質的な対立に対処することを提案する。
我々の研究は、脱獄攻撃と防衛の理解に寄与し、LLMの能力と安全性の関係に光を当てている。
論文 参考訳（メタデータ） (2023-11-15T16:42:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。