論文の概要: Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention

• arxiv url: http://arxiv.org/abs/2509.24393v1
• Date: Mon, 29 Sep 2025 07:41:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.825794
• Title: Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention
• Title（参考訳）: 高精度干渉による大型共振模型の安全推論に向けて
• Authors: Yichi Zhang, Yue Ding, Jingwen Yang, Tianwei Luo, Dongbai Li, Ranjie Duan, Qiang Liu, Hang Su, Yinpeng Dong, Jun Zhu,
• Abstract要約: 既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。 我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
• 参考スコア（独自算出の注目度）: 53.25106308403173
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Although Large Reasoning Models (LRMs) have progressed in solving complex problems, their chain-of-thought (CoT) reasoning often contains harmful content that can persist even when the final responses appear safe. We show that this issue still remains in existing methods which overlook the unique significance of safe reasoning, undermining their trustworthiness and posing potential risks in applications if unsafe reasoning is accessible for and exploited by malicious users. We therefore shift our focus to aligning the safety of reasoning itself in this paper and explore process supervision as the solution. However, simply rewarding safe reasoning proves inadequate due to low rollout diversity and limited training signals. To tackle this challenge, we first delve into the characteristics of safe reasoning and uncover several critical insights that 1) safe reasoning is often consolidated by a few critical steps of safety triggers; 2) compliance cues strongly correlate with unsafe continuations; and 3) corrective interventions reliably steer unsafe trajectories towards safer traces. Motivated by these, we propose Intervened Preference Optimization (IPO), an alignment method that enforces safe reasoning by substituting compliance steps with safety triggers and constructing pairs for preference learning with strong signals. Experiments on jailbreak and adversarial safety benchmarks demonstrate that IPO remarkably improves overall safety regarding both reasoning and responses, outperforming SFT-based and RL-based baselines with a relative reduction of over 30% in harmfulness, while preserving excellent performance across diverse reasoning tasks. The results highlight the importance of explicit alignment for reasoning and provide a practical path to safer LRMs.
• Abstract（参考訳）: 大規模推論モデル(LRM)は複雑な問題の解決に進歩しているが、そのチェーン・オブ・ソート(CoT)推論はしばしば、最終応答が安全に見える場合でも持続可能な有害な内容を含んでいる。 この問題は、安全推論のユニークな重要性を見落とし、信頼性を損なうとともに、悪意のあるユーザに対して安全でない推論がアクセス可能で、悪用された場合、アプリケーションに潜在的なリスクを生じさせる既存の方法に依然として残っていることを示す。 そこで我々は、本論文における推論の安全性の整合化に焦点を移し、その解決策としてプロセスの監督を探求する。 しかし、安全な推論に報酬を与えるだけでは、ロールアウトの多様性が低く、訓練信号が限られているため、不十分であることが証明される。 この課題に取り組むために、私たちはまず安全な推論の特徴を掘り下げ、いくつかの重要な洞察を明らかにしました。 1) 安全推論は、安全トリガーのいくつかの重要なステップによって統合されることが多い。 2 コンプライアンス基準は、安全でない継続と強く関連している。 3) 安全な痕跡に対して安全でない軌跡を確実に操る。 そこで本研究では、安全トリガによるコンプライアンスステップの置換と、強い信号による優先学習のためのペアの構築により、安全な推論を行うアライメント手法であるIntervened Preference Optimization (IPO)を提案する。 ジェイルブレイクと敵の安全ベンチマークの実験では、IPOは推論と応答の両方に関する全体的な安全性を著しく改善し、SFTベースのベースラインとRLベースのベースラインを上回っ、有害度が30%以上減少し、多様な推論タスクにわたって優れたパフォーマンスを維持している。 その結果, 推論における明示的なアライメントの重要性が強調され, LRMの安全性を高めるための実践的パスが提供された。

関連論文リスト

• AURA: Affordance-Understanding and Risk-aware Alignment Technique for Large Language Models [6.059681491089391]
  AURAは論理的一貫性と安全性を認識した総合的、段階的な評価を提供する。 本フレームワークは, 内省的自己批判, きめ細かいPRM評価, 適応型安全認識復号をシームレスに結合する。 この研究は、アライメントに敏感なアプリケーションのための新しいベンチマークを設定することで、より安全で責任があり、コンテキストに敏感なAIに向けた重要なステップである。
  論文  参考訳（メタデータ） (2025-08-08T08:43:24Z)
• ReasoningGuard: Safeguarding Large Reasoning Models with Inference-time Safety Aha Moments [18.198349215500183]
  ReasoningGuardは、タイムリーな安全アハモーメントを注入し、無害な理由づけプロセスを実行します。 弊社のアプローチは、既存の7つの安全ガードを上回り、最先端の安全防衛を達成している。
  論文  参考訳（メタデータ） (2025-08-06T08:35:10Z)
• AlphaAlign: Incentivizing Safety Alignment with Extremely Simplified Reinforcement Learning [21.399086197886202]
  大規模言語モデル(LLM)は、膨大な事前学習データから潜伏した安全性の理解を持っている。 安全報酬を検証可能な純粋強化学習フレームワークである textbfAlphaAlign を提案する。 これにより、モデルは、監督された安全固有の推論データに依存することなく、積極的に安全推論機能を開発することができる。
  論文  参考訳（メタデータ） (2025-07-20T14:47:03Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [49.47193675702453]
  大規模言語モデル(LLM)は、顕著な生成能力を示している。 LLMは、安全上の制約を回避できる悪意のある命令に弱いままである。 推論に基づく安全アライメントフレームワークARMORを提案する。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)
• Beyond Safe Answers: A Benchmark for Evaluating True Risk Awareness in Large Reasoning Models [29.569220030102986]
  textbfBeyond Safe Answers (BSA) ベンチは,3つの異なるSSAシナリオタイプに構成された2,000のチャレンジインスタンスからなる,新しいベンチマークである。 19の最先端のLEMの評価では、このベンチマークの難しさが示され、最高性能のモデルはリスクの合理性を正確に識別する上で、わずか38.0%の精度しか達成していない。 我々の研究は、LEMの安全性推論の忠実さを評価し改善するための総合的な評価ツールを提供し、真にリスクを意識し、確実に安全なAIシステムの開発を進める。
  論文  参考訳（メタデータ） (2025-05-26T08:49:19Z)
• SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning [76.56522719330911]
  大規模推論モデル(LRM)は、応答する前に明示的に推論する新しい世代パラダイムを導入する。 LRMは有害なクエリや敵の攻撃に対して大きな安全リスクをもたらす。 キー文中の安全アハモーメントをより活性化するSafeKeyを提案する。
  論文  参考訳（メタデータ） (2025-05-22T03:46:03Z)
• How Should We Enhance the Safety of Large Reasoning Models: An Empirical Study [90.34190170330481]
  大規模推論モデル(LRM)は数学やプログラミングのような推論集約的なタスクにおいて顕著な成功を収めた。 しかし、その強化された推論能力は必ずしも安全性能の向上に必ずしも寄与しない。 スーパーバイザード・ファイン・チューニング(Supervised Fine-Tuning)によるLEMの安全性向上に関する総合的な実証研究について述べる。
  論文  参考訳（メタデータ） (2025-05-21T11:45:29Z)
• The Hidden Risks of Large Reasoning Models: A Safety Assessment of R1 [70.94607997570729]
  本稿では,OpenAI-o3およびDeepSeek-R1推論モデルの総合的安全性評価を行う。 本研究では, 現実の応用における強靭性を評価するために, ジェイルブレイクやインジェクションなどの敵攻撃に対する感受性について検討する。
  論文  参考訳（メタデータ） (2025-02-18T09:06:07Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。