論文の概要: SAVeR$^2$: Reasoning-based Safety Alignment for Large Reasoning Models via Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2611.07482v1
• Date: Thu, 05 Nov 2026 05:42:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.557875
• Title: SAVeR$^2$: Reasoning-based Safety Alignment for Large Reasoning Models via Verifiable Rewards
• Title（参考訳）: SAVeR$^2$:検証リワードによる大規模推論モデルの推論に基づく安全アライメント
• Abstract要約: Large Reasoning Models (LRMs) は、明示的なChain-of-Thought (CoT)推論を通じて、優れたパフォーマンスを実現している。 我々は, LRMの安全性目標を, 非致命的推論と回答, 安全性の整合性, 明示的意図の識別を必要とするとして定式化した。 textbfSafety textbfAlignment method via textbfRewards with textbfReasoning capabilities。
• 参考スコア（独自算出の注目度）: 18.685510399308125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Reasoning Models (LRMs) have achieved impressive performance via explicit Chain-of-Thought (CoT) reasoning, yet this process introduces critical safety risks. We formalize LRM safety objectives as requiring non-malicious reasoning and answers, safety consistency, and explicit intent identification. We argue that existing alignment methods suffer from poor adversarial generalization, a significant ``safety tax'' on reasoning, and unfaithful coarse-grained rewards, primarily due to their neglect of the LRM's intrinsic reasoning capabilities for safety. To address these, we propose \textbf{SAVeR$^2$}, a novel \textbf{S}afety \textbf{A}lignment method via \textbf{R}ewards with \textbf{R}easoning capability. SAVeR$^2$ decomposes the safety objective into four fine-grained verifiable reward signals and utilizes a difficulty-aware data selection strategy to stabilize training. Crucially, we introduce a reasoning-preserving gradient projection mechanism that analytically resolves conflicts between safety and reasoning gradients, effectively eliminating the safety tax. Extensive experiments on models ranging from 1.5B to 671B demonstrate that SAVeR$^2$ achieves superior safety performance and significantly lower over-refusal rates across multiple benchmarks without compromising general reasoning capabilities.
• Abstract（参考訳）: 大型共振モデル (LRM) は、明確なチェーン・オブ・ソート (CoT) 推論を通じて優れた性能を達成しているが、このプロセスは重大な安全リスクをもたらす。 我々は, LRMの安全性目標を, 非致命的推論と回答, 安全性の整合性, 明示的意図の識別を必要とするとして定式化した。 我々は,既存のアライメント手法は,LRMの本質的推論能力の欠如を主な理由として,敵意的な一般化の欠如,推論における「安全税」の顕著な影響,および不誠実な粗粒化報酬に悩まされていると論じる。 これらの問題に対処するために、新しい \textbf{S}afety \textbf{A}lignment 法である \textbf{SAVeR$^2$} を提案する。 SAVeR$^2$は、安全性目標を4つの細かな検証可能な報酬信号に分解し、訓練を安定させるために、困難なデータ選択戦略を利用する。 重要なことは、安全と推論勾配の対立を解析的に解決し、安全税を効果的に排除する推論保存勾配予測機構を導入することである。 1.5B から 671B までのモデルに対する大規模な実験により、SAVeR$^2$ はより優れた安全性を実現し、一般的な推論能力を損なうことなく複数のベンチマークでオーバーリフレッシュレートを大幅に低下させることを示した。

関連論文リスト

• Towards Mitigating Deceptive Safety Alignment in Large Reasoning Models [41.9966005658892]
  大規模推論モデル (LRMs) は、最終的な答えを出す前に、強化学習 (RL) を用いて、思考の連鎖推論 (CoT) の生成を改善するために訓練される。 これは、推論トレースと最終応答が矛盾した安全信号を伝達する、偽りの安全アライメントにつながる可能性がある。 SARA(Safety-Aware Reasoning Alignment)は,安全を意識した推論と最終回答の両方に報酬を与えるRLベースの手法である。
  論文  参考訳（メタデータ） (2026-09-28T20:45:10Z)
• Beyond SFT: Reinforcement Learning for Safer Large Reasoning Models with Better Reasoning Ability [18.931331452604066]
  大きな推論モデル(LRM)は、明らかにチェーン・オブ・シント(CoT)推論を生成することで、大きな言語モデルを拡張する。 既存の安全アライメントアプローチは、安全指向の長いCoTデータセットよりも教師付き微調整(SFT)に依存している。 LRM安全訓練のための補完的最適化フレームワークとして強化学習(RL)について検討する。
  論文  参考訳（メタデータ） (2025-12-01T16:35:34Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models [66.71948519280669]
  MLRM(Multimodal Large Reasoning Models)は、クロスモーダルな推論を示すが、しばしば敵のプロンプトによる安全性のリスクを増幅する。 既存の防御は主に出力レベルで動作し、推論プロセスを制約せず、モデルは暗黙のリスクに置かれる。 4つのコンポーネントを統合し,表面レベルのフィルタリングを超える動的かつ解釈可能な安全性決定をサポートするSaFeR-VLMを提案する。
  論文  参考訳（メタデータ） (2025-10-08T10:39:12Z)
• Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
  既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。 我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T07:41:09Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
  ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。