論文の概要: Dual-Adversarial Safety Alignment: Cultivating Intrinsic Threat Comprehension in LRMs

• arxiv url: http://arxiv.org/abs/2608.09542v1
• Date: Mon, 10 Aug 2026 12:40:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.266118
• Title: Dual-Adversarial Safety Alignment: Cultivating Intrinsic Threat Comprehension in LRMs
• Title（参考訳）: 二重対人安全アライメント : LRMにおける本質的脅威理解の育成
• Abstract要約: 大きな推論モデル(LRM)は複雑なタスクにおいて顕著な成功を収めるが、安全でない出力を誘導する有害なプロンプトに弱いままである。 近年の手法では、直接の拒絶や安全性の合理性を用いてLEMを整列するが、本質的な攻撃機構ではなく、素早いパターンに焦点をあてることが多い。 本稿では, 対向メカニズムを明示的に分解することで, LRMが非安全知識の内部化を可能にする, 二重対向フレームワークであるAdvSafeを提案する。
• 参考スコア（独自算出の注目度）: 11.540170528812768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large reasoning models (LRMs) achieve remarkable success on complex tasks but remain vulnerable to harmful prompts that induce unsafe outputs. Recent methods align LRMs using direct refusals or safety rationales, yet often focus on prompt patterns rather than intrinsic attack mechanisms. As a result, these pattern-centric alignments struggle to generalize across diverse jailbreaks, compromising adversarial robustness and reasoning utility. We propose AdvSafe, a dual-adversarial framework that enables LRMs to internalize unsafety knowledge by explicitly deconstructing adversarial mechanisms. This moves beyond pattern-dependent traces, fostering robust cognitive defense without compromising reasoning utility. Our pipeline operates via a two-phase adversarial game. First, in adversarial synthesis, an autonomous agent dynamically crafts deceptive jailbreak prompts, adapting its strategies to breach a strong teacher model. Second, in adversarial extraction, the breached teacher executes a cognitive counter-attack. For every successful jailbreak, the teacher unmasks the camouflage, explaining why the attack succeeds and how such prompts can be identified and mitigated. This dual-adversarial process yields a compact reasoning dataset capturing rich, generalizable unsafety knowledge. Student models trained on this dataset implicitly acquire safety alignment through intrinsic threat comprehension. Experiments show that with only 1K synthesized samples, AdvSafe-aligned LRMs achieve significantly stronger jailbreak robustness than existing baselines, with almost no utility degradation. Furthermore, AdvSafe improves robustness against out-of-distribution prompts, demonstrating that learning unsafety knowledge enables a superior robustness-utility trade-off and generalizes beyond seen attack patterns.
• Abstract（参考訳）: 大きな推論モデル(LRM)は複雑なタスクにおいて顕著な成功を収めるが、安全でない出力を誘導する有害なプロンプトに弱いままである。 近年の手法では、直接の拒絶や安全性の合理性を用いてLEMを整列するが、本質的な攻撃機構ではなく、素早いパターンに焦点をあてることが多い。 その結果、これらのパターン中心のアライメントは、様々なジェイルブレイクをまたいだ一般化に苦慮し、敵の堅牢性と推論ユーティリティを損なうことになった。 本稿では, 対向メカニズムを明示的に分解することで, LRMが非安全知識の内部化を可能にする, 二重対向フレームワークであるAdvSafeを提案する。 これはパターン依存のトレースを超えて、推論ユーティリティを損なうことなく、堅牢な認知的防御を促進する。 パイプラインは2フェーズの対戦ゲームを介して動作します。 まず、敵対的な合成において、自律的なエージェントが欺くジェイルブレイクのプロンプトを動的に作って、強力な教師モデルに反する戦略を適用します。 第二に、敵の抽出において、違反した教師が認知的反撃を行う。 ジェイルブレイクが成功するたびに、教師はカモフラージュを解き放ち、なぜ攻撃が成功したのか、そのようなプロンプトがどのように特定され緩和されるのかを説明する。 この双対逆過程は、リッチで一般化可能な安全でない知識をキャプチャするコンパクトな推論データセットをもたらす。 このデータセットでトレーニングされた学生モデルは、本質的な脅威理解を通じて、暗黙的に安全アライメントを取得する。 実験によると、1Kの合成サンプルだけで、AdvSafe対応のLEMは、既存のベースラインよりもはるかに強いジェイルブレイクロバスト性を達成でき、実用性はほとんど低下しない。 さらに、AdvSafeは、アウト・オブ・ディストリビューションのプロンプトに対するロバスト性を改善し、安全でない知識を学習することで、ロバストネスとユーティリティのトレードオフが優れていることを実証し、目に見えない攻撃パターンを越えて一般化する。

関連論文リスト

• HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment [23.776344382492997]
  本研究は,LLMのアライメントにより,残差ストリームにおける有害性と拒絶を,プロンプト側トークン位置における分離可能な方向としてエンコードしていることを示す。 本稿では,2方向をプロンプト位置と応答位置でペアリングする微調整手法であるHARCを紹介する。
  論文  参考訳（メタデータ） (2026-07-01T07:58:16Z)
• Internalizing Safety Understanding in Large Reasoning Models via Verification [33.2377930782685]
  本稿では,安全確認タスクにのみ焦点をあてた LRM のトレーニングにより,安全性仕様を内部化するフレームワークを提案する。 検証の学習は、応答安全性の強力な一般化を誘導し、ドメイン外ジェイルブレイクに対する堅牢性を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2026-05-09T13:05:00Z)
• RAPO: Risk-Aware Preference Optimization for Generalizable Safe Reasoning [29.005437376731738]
  大規模推論モデル(LRM)は、そのチェーン・オブ・ソート(CoT)推論で大きな成功を収めた。 LRMは、多種多様な複雑なジェイルブレイク攻撃に対して一般化に失敗することが多い。 LRMが安全リスクを適応的に識別し対処することを可能にするRAPOフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-04T05:18:38Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• Between a Rock and a Hard Place: Exploiting Ethical Reasoning to Jailbreak LLMs [19.15237483387352]
  本稿では,TLMの倫理的推論を利用して安全を回避するためのフレームワークであるTRIAL(Trolley-problem Reasoning for Interactive Attack Logic)を紹介する。 TRIALは、オープンソースモデルとオープンソースモデルの両方に対して、高いジェイルブレイク成功率を示している。 モデルが高度な推論能力を得るにつれ、そのアライメントの性質は必然的に、より秘密のセキュリティ脆弱性を悪用することを可能にするかもしれない。
  論文  参考訳（メタデータ） (2025-09-04T05:53:20Z)
• Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models [93.5740266114488]
  コンストラクティブ・セーフティ・アライメント(CSA)は、悪意のある誤用を防ぎつつ、脆弱性のあるユーザを安全で有益な結果へと積極的に誘導する。 Oy1は、高度な汎用能力を保ちながら、オープンモデル間の最先端の安全性を達成する。 私たちは、責任あるユーザ中心AIをサポートするために、Oy1、コード、ベンチマークをリリースしています。
  論文  参考訳（メタデータ） (2025-09-02T03:04:27Z)
• PRISM: Programmatic Reasoning with Image Sequence Manipulation for LVLM Jailbreaking [3.718606661938873]
  本稿では、ソフトウェアセキュリティからROP(Return-Oriented Programming)技術にインスパイアされた、新しい効果的なジェイルブレイクフレームワークを提案する。 提案手法では,有害な指示を視覚ガジェットの系列に分解する。 以上の結果から,LVLMの構成的推論能力を利用した,重要かつ過小評価された脆弱性が判明した。
  論文  参考訳（メタデータ） (2025-07-29T07:13:56Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
  ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)
• Cannot See the Forest for the Trees: Invoking Heuristics and Biases to Elicit Irrational Choices of LLMs [83.11815479874447]
  本研究では,人間の認知における認知的分解と偏見に触発された新しいジェイルブレイク攻撃フレームワークを提案する。 我々は、悪意のあるプロンプトの複雑さと関連バイアスを減らし、認知的分解を用いて、プロンプトを再編成する。 また、従来の二分的成功または失敗のパラダイムを超越したランキングベースの有害度評価指標も導入する。
  論文  参考訳（メタデータ） (2025-05-03T05:28:11Z)
• Improving LLM Safety Alignment with Dual-Objective Optimization [81.98466438000086]
  大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。 本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
  論文  参考訳（メタデータ） (2025-03-05T18:01:05Z)
• Jailbroken: How Does LLM Safety Training Fail? [92.8748773632051]
  ChatGPTの初期リリースに対する"jailbreak"攻撃は、望ましくない振る舞いを引き起こす。 このような攻撃がなぜ成功し、どのように発生できるかを考察する。 障害モードを利用した新たな攻撃は、安全でない要求の収集において、すべてのプロンプトで成功します。
  論文  参考訳（メタデータ） (2023-07-05T17:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。