論文の概要: How Does the Thinking Step Influence Model Safety? An Entropy-based Safety Reminder for LRMs

• arxiv url: http://arxiv.org/abs/2601.03662v1
• Date: Wed, 07 Jan 2026 07:26:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 02:15:23.366613
• Title: How Does the Thinking Step Influence Model Safety? An Entropy-based Safety Reminder for LRMs
• Title（参考訳）: モデル安全性に対する思考ステップの影響 : LRMのためのエントロピー型安全リマインダー
• Authors: Su-Hyeon Kim, Hyundong Jin, Yejin Lee, Yo-Sub Han,
• Abstract要約: LRMの安全性を確保する上では, 思考段階におけるセーフ・リミネード・フレーズの出現が重要な役割を担っていることが判明した。 この発見に触発されたSafeRemindは、動的に安全なフレーズを思考ステップに注入するデコード時防衛法である。 決定ロックポイントに介入するためにエントロピートリガーを活用することで、SafeRemindはパラメータ更新を必要とせずに、潜在的に有害なトラジェクトリを安全な結果にリダイレクトする。
• 参考スコア（独自算出の注目度）: 10.526176863220988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Reasoning Models (LRMs) achieve remarkable success through explicit thinking steps, yet the thinking steps introduce a novel risk by potentially amplifying unsafe behaviors. Despite this vulnerability, conventional defense mechanisms remain ineffective as they overlook the unique reasoning dynamics of LRMs. In this work, we find that the emergence of safe-reminding phrases within thinking steps plays a pivotal role in ensuring LRM safety. Motivated by this finding, we propose SafeRemind, a decoding-time defense method that dynamically injects safe-reminding phrases into thinking steps. By leveraging entropy triggers to intervene at decision-locking points, SafeRemind redirects potentially harmful trajectories toward safer outcomes without requiring any parameter updates. Extensive evaluations across five LRMs and six benchmarks demonstrate that SafeRemind substantially enhances safety, achieving improvements of up to 45.5%p while preserving core reasoning utility.
• Abstract（参考訳）: 大規模推論モデル(LRM)は明示的な思考ステップを通じて顕著な成功を収めるが、思考ステップは潜在的に安全でない振る舞いを増幅することによって新たなリスクをもたらす。 この脆弱性にもかかわらず、従来の防御機構は、LEMのユニークな推論力学を見落としているため、効果が残っていない。 本研究は, LRMの安全性を確保する上で, 思考段階におけるセーフ・リミネード・フレーズの出現が重要な役割を担っていることを明らかにする。 この発見に触発されたSafeRemindは、動的に安全なフレーズを思考ステップに注入するデコード時防衛法である。 決定ロックポイントに介入するためにエントロピートリガーを活用することで、SafeRemindはパラメータ更新を必要とせずに、潜在的に有害なトラジェクトリを安全な結果にリダイレクトする。 5つのLRMと6つのベンチマークの大規模な評価は、SafeRemindが安全性を大幅に向上し、コア推論ユーティリティを保ちながら最大45.5%の改善を実現していることを示している。

関連論文リスト

• RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
  視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。 しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。 提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
  論文  参考訳（メタデータ） (2025-12-24T15:01:26Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
  既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。 我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T07:41:09Z)
• ReasoningGuard: Safeguarding Large Reasoning Models with Inference-time Safety Aha Moments [18.198349215500183]
  ReasoningGuardは、タイムリーな安全アハモーメントを注入し、無害な理由づけプロセスを実行します。 弊社のアプローチは、既存の7つの安全ガードを上回り、最先端の安全防衛を達成している。
  論文  参考訳（メタデータ） (2025-08-06T08:35:10Z)
• SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning [76.56522719330911]
  大規模推論モデル(LRM)は、応答する前に明示的に推論する新しい世代パラダイムを導入する。 LRMは有害なクエリや敵の攻撃に対して大きな安全リスクをもたらす。 キー文中の安全アハモーメントをより活性化するSafeKeyを提案する。
  論文  参考訳（メタデータ） (2025-05-22T03:46:03Z)
• Think in Safety: Unveiling and Mitigating Safety Alignment Collapse in Multimodal Large Reasoning Model [29.63418384788804]
  5つのベンチマークでMLRM(Multimodal Large Reasoning Model)11の安全性評価を行う。 分析の結果、異なるベンチマークで異なる安全性パターンが明らかになった。 これは、モデル固有の推論能力を活用して安全でない意図を検出することで、MLRMの安全性問題に対処する潜在的アプローチである。
  論文  参考訳（メタデータ） (2025-05-10T06:59:36Z)
• Reasoning-to-Defend: Safety-Aware Reasoning Can Defend Large Language Models from Jailbreaking [54.10710423370126]
  本稿では,大規模言語モデルの生成プロセスに安全性を考慮した推論機構を統合する訓練パラダイムであるReasoning-to-Defend(R2D)を提案する。 CPOは、与えられた対話の安全性に対するモデルの認識を高める。 実験によると、R2Dは様々な攻撃を効果的に軽減し、元の性能を維持しながら全体の安全性を向上させる。
  論文  参考訳（メタデータ） (2025-02-18T15:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。