論文の概要: First Token Matters: Understanding Safety Collapse in Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2609.18471v1
• Date: Wed, 16 Sep 2026 11:06:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.766459
• Title: First Token Matters: Understanding Safety Collapse in Large Reasoning Models
• Title（参考訳）: 第一に:大規模推論モデルにおける安全性の崩壊の理解
• Abstract要約: 本稿では,リファレンスダイナミクスのトークンレベルの位置解析により,その故障について検討する。 その結果, LRMの拒絶関連信号は, 有害なクエリで生成した第1トークンに急降下することがわかった。 SafeTokenは、学習した継続的安全アンカーを正確に推論時に注入する軽量な推論時間介入である。
• 参考スコア（独自算出の注目度）: 21.146577287391604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Reasoning Models (LRMs) exhibit strong problem-solving abilities, yet their safety alignment often degrades when handling harmful queries. Existing approaches to improving safety largely rely on additional training or preference optimization, while offering limited understanding of the internal mechanisms behind safety failures. In this work, we investigate this failure through a token-level positional analysis of refusal dynamics and identify a localized vulnerability at the onset of reasoning, which we term Onset Refusal Collapse (ORC). We find that the refusal-related signal of LRMs drops sharply at the first generated token under harmful queries, which is associated with unsafe response generation. Motivated by this finding, we propose SafeToken, a lightweight inference-time intervention that injects a learned continuous safety anchor precisely at reasoning onset. Despite updating only a single token embedding, SafeToken effectively mitigates ORC, improves safety on harmful-query benchmarks, and largely preserves reasoning utility. These results suggest that safety failures in LRMs can arise from a transient breakdown at the critical transition from understanding to generation.
• Abstract（参考訳）: 大きな推論モデル(LRM)は、強力な問題解決能力を示すが、有害なクエリを扱う場合、その安全性は低下することが多い。 既存の安全改善アプローチは、安全性障害の背後にある内部メカニズムの限定的な理解を提供する一方で、追加のトレーニングや優先最適化に大きく依存している。 本研究では,この障害を,リファインダイナミクスのトークンレベルの位置解析により調査し,推論開始時の局所的脆弱性を同定し,その原因をオンセットリファイン・コラプス(OrC)と呼ぶ。 その結果, LRMの拒絶関連信号は, 安全でない応答生成に付随する有害なクエリの下で, 生成した第1のトークンに急降下することがわかった。 この発見に動機づけられたSafeTokenは、学習した継続的安全アンカーを正確に推論時に注入する軽量な推論時間介入である。 単一のトークンの埋め込みだけを更新するが、SafeTokenはORCを効果的に緩和し、有害なクエリベンチマークの安全性を改善し、推論ユーティリティを大半保存する。 これらの結果から, LRMの安全性の低下は, 理解から生成への臨界遷移における過渡的な破壊から生じる可能性が示唆された。

関連論文リスト

• Adaptive and Explicit safe: Triggering Latent Safety Awareness in Large Reasoning Models [31.940554924036807]
  大規模推論モデル(LRM)は、高度なジェイルブレイクや直接的な有害なクエリに対して非常に脆弱である。 我々は、安全分析とガイダンスをトリガーする安全なタグを明示的に誘導するために、Supervised Fine-Tuning (SFT) を採用している。 また、安全分析およびガイダンスの正確性と安定性をさらに高めるために、直接選好最適化(DPO)を適用した。
  論文  参考訳（メタデータ） (2026-06-15T14:51:34Z)
• Internalizing Safety Understanding in Large Reasoning Models via Verification [33.2377930782685]
  本稿では,安全確認タスクにのみ焦点をあてた LRM のトレーニングにより,安全性仕様を内部化するフレームワークを提案する。 検証の学習は、応答安全性の強力な一般化を誘導し、ドメイン外ジェイルブレイクに対する堅牢性を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2026-05-09T13:05:00Z)
• SafeRBench: A Comprehensive Benchmark for Safety Assessment in Large Reasoning Models [60.8821834954637]
  LRMの安全性をエンドツーエンドに評価する最初のベンチマークであるSafeRBenchを紹介する。 私たちは、リスクカテゴリとレベルを入力設計に組み込んだ先駆者です。 我々は,長い推論トレースを意味的に一貫性のある単位にセグメント化するためのマイクロシンクのチャンキング機構を導入する。
  論文  参考訳（メタデータ） (2025-11-19T06:46:33Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
  既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。 我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T07:41:09Z)
• SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning [76.56522719330911]
  大規模推論モデル(LRM)は、応答する前に明示的に推論する新しい世代パラダイムを導入する。 LRMは有害なクエリや敵の攻撃に対して大きな安全リスクをもたらす。 キー文中の安全アハモーメントをより活性化するSafeKeyを提案する。
  論文  参考訳（メタデータ） (2025-05-22T03:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。