論文の概要: Towards Mitigating Deceptive Safety Alignment in Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2609.36254v1
• Date: Mon, 28 Sep 2026 20:45:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.009585
• Title: Towards Mitigating Deceptive Safety Alignment in Large Reasoning Models
• Title（参考訳）: 大規模推論モデルにおける認知的安全アライメントの緩和に向けて
• Abstract要約: 大規模推論モデル (LRMs) は、最終的な答えを出す前に、強化学習 (RL) を用いて、思考の連鎖推論 (CoT) の生成を改善するために訓練される。 これは、推論トレースと最終応答が矛盾した安全信号を伝達する、偽りの安全アライメントにつながる可能性がある。 SARA(Safety-Aware Reasoning Alignment)は,安全を意識した推論と最終回答の両方に報酬を与えるRLベースの手法である。
• 参考スコア（独自算出の注目度）: 41.9966005658892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Reasoning Models (LRMs) are commonly trained with reinforcement learning (RL) to improve their generation of chain-of-thought (CoT) reasoning before producing final answers. However, RL rewards are typically assigned based on final answers, providing little or no direct supervision over intermediate reasoning. This can lead to deceptive safety alignment, where the reasoning trace and final answer convey inconsistent safety signals. To systematically investigate this phenomenon, we introduce DSAR (Deceptive Safety Alignment Rate), a metric that jointly assesses reasoning traces and final answers to quantify their safety inconsistency. Across multiple LRMs and benchmarks, we find that deceptive safety alignment is pervasive under standard prompting conditions and is substantially amplified under prefilling attacks. We further provide a hidden representation analysis showing that models exhibit stronger safety discrimination at the final-answer stage than during intermediate reasoning. To close this gap, we propose SARA (Safety-Aware Reasoning Alignment), an RL-based method that rewards both safety-aware reasoning and safe final answers, encouraging early harmful intent recognition and enforcing reasoning-answer consistency. Experiments show that SARA significantly mitigates deceptive safety alignment under both standard and adversarial settings while preserving helpfulness and utility. Code is available at https://github.com/xzhou98/SARA.
• Abstract（参考訳）: 大規模推論モデル (LRMs) は、最終的な答えを出す前に、強化学習 (RL) を用いて、思考の連鎖推論 (CoT) の生成を改善するために訓練される。 しかしながら、RL報酬は通常最終回答に基づいて割り当てられ、中間的推論に対する直接的な監督はほとんど、あるいは全く提供されない。 これは、推論トレースと最終応答が矛盾した安全信号を伝達する、偽りの安全アライメントにつながる可能性がある。 この現象を体系的に研究するために,DSAR(Deceptive Safety Alignment Rate)を導入する。 複数の LRM およびベンチマークにおいて, 偽装安全アライメントは標準的プロンプト条件下で広く普及しており, プリフィルアタックでは実質的に増幅されていることがわかった。 さらに,モデルが中間的推論よりも最終回答段階でより強い安全性識別を示すことを示す,隠れ表現解析を行った。 このギャップを埋めるために,安全意識と最終回答の両方に報酬を与えるRLベースの手法であるSARA(Safety-Aware Reasoning Alignment)を提案する。 実験の結果, SARAは, 標準設定と対向設定の両方において, 誤認の安全性を著しく軽減し, 有用性と有用性を保っていることがわかった。 コードはhttps://github.com/xzhou98/SARAで入手できる。

関連論文リスト

• Addressing Over-Refusal in LLMs with Competing Rewards [28.092622045521917]
  言語モデルの安全性トレーニングは、しばしば過剰な拒絶を引き起こす。 我々は、安全でない推論自体が有用な探索信号として機能すると主張している。 この行動は、有害な推論を直接操作する攻撃を過度に拒絶し、防御するのに役立ちます。
  論文  参考訳（メタデータ） (2026-06-30T14:38:49Z)
• Internalizing Safety Understanding in Large Reasoning Models via Verification [33.2377930782685]
  本稿では,安全確認タスクにのみ焦点をあてた LRM のトレーニングにより,安全性仕様を内部化するフレームワークを提案する。 検証の学習は、応答安全性の強力な一般化を誘導し、ドメイン外ジェイルブレイクに対する堅牢性を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2026-05-09T13:05:00Z)
• THINKSAFE: Self-Generated Safety Alignment for Reasoning Models [60.10077024249373]
  外部の教師がいなくても安心して安心できるフレームワークであるThinkSafeを提案する。 我々の重要な洞察は、コンプライアンスは安全メカニズムを抑制するが、モデルはしばしば害を特定するために潜伏した知識を保持することである。 DeepSeek-R1-DistillとQwen3の実験では、ThinkSafeは推論能力を維持しながら安全性を大幅に向上している。
  論文  参考訳（メタデータ） (2026-01-30T16:31:02Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
  既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。 我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T07:41:09Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
  ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。