論文の概要: Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning?

• arxiv url: http://arxiv.org/abs/2510.06036v1
• Date: Tue, 07 Oct 2025 15:32:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.317523
• Title: Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning?
• Title（参考訳）: リファインダー:リファインダーの安全アライメントはどのように機能しないのか
• Authors: Qingyu Yin, Chak Tou Leong, Linyi Yang, Wenxuan Huang, Wenjie Li, Xiting Wang, Jaehong Yoon, YunXing, XingYu, Jinjin Gu,
• Abstract要約: メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。 トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。 提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
• 参考スコア（独自算出の注目度）: 68.82210578851442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large reasoning models (LRMs) with multi-step reasoning capabilities have shown remarkable problem-solving abilities, yet they exhibit concerning safety vulnerabilities that remain poorly understood. In this work, we investigate why safety alignment fails in reasoning models through a mechanistic interpretability lens. Using a linear probing approach to trace refusal intentions across token positions, we discover a striking phenomenon termed as \textbf{refusal cliff}: many poorly-aligned reasoning models correctly identify harmful prompts and maintain strong refusal intentions during their thinking process, but experience a sharp drop in refusal scores at the final tokens before output generation. This suggests that these models are not inherently unsafe; rather, their refusal intentions are systematically suppressed. Through causal intervention analysis, we identify a sparse set of attention heads that negatively contribute to refusal behavior. Ablating just 3\% of these heads can reduce attack success rates below 10\%. Building on these mechanistic insights, we propose \textbf{Cliff-as-a-Judge}, a novel data selection method that identifies training examples exhibiting the largest refusal cliff to efficiently repair reasoning models' safety alignment. This approach achieves comparable safety improvements using only 1.7\% of the vanilla safety training data, demonstrating a less-is-more effect in safety alignment.
• Abstract（参考訳）: 多段階推論能力を持つ大規模推論モデル (LRM) は、目覚ましい問題解決能力を示してきたが、その安全性に関する脆弱性は未理解のままである。 本研究では,機械的解釈可能性レンズによるモデル推論において,安全アライメントが失敗する理由について検討する。 多くの不整合推論モデルは、有害なプロンプトを正しく識別し、思考過程において強い拒絶意図を維持するが、出力発生前の最終トークンにおける拒絶スコアの急激な低下を経験する。 これは、これらのモデルが本質的に安全ではないことを示唆している。 因果介入分析により,拒絶行動に否定的に寄与する注意点の集合を同定する。 攻撃の成功率を10倍以下に抑えることができるのは、これらの頭部のわずか3倍である。 これらの力学的知見に基づいて, 推論モデルの安全性の整合性を効率的に修復するために, 最大の断崖を示す訓練例を識別する新しいデータ選択法である「textbf{Cliff-as-a-Judge」を提案する。 このアプローチは、バニラ安全性トレーニングデータの1.7 %のみを使用して、同等の安全性向上を実現し、安全性アライメントにおけるより少ない効果を示す。

関連論文リスト

• Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
  既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。 我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T07:41:09Z)
• Reasoned Safety Alignment: Ensuring Jailbreak Defense via Answer-Then-Check [32.82170313959032]
  我々はAnswer-Then-Checkと呼ばれる新しい安全アライメント手法を導入する。 提案手法は,モデルが思考の質問に対して直接回答し,その安全性を批判的に評価することを可能にする。 わずか500のサンプルの小さなサブセットでのトレーニングは、完全なデータセットを使用するのに匹敵するパフォーマンスを達成できることに気付きました。
  論文  参考訳（メタデータ） (2025-09-15T06:47:35Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• Self-Evaluation as a Defense Against Adversarial Attacks on LLMs [20.79833694266861]
  自己評価を生かした LLM に対する敵攻撃に対する防御策を導入する。 本手法では, モデル微調整を必要とせず, 生成モデルの入力と出力を評価するために, 事前学習モデルを用いる。 提案手法の有効性を解析し, 各種設定で評価器を攻撃しようとする試みを含む。
  論文  参考訳（メタデータ） (2024-07-03T16:03:42Z)
• Navigating the OverKill in Large Language Models [84.62340510027042]
  モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
  論文  参考訳（メタデータ） (2024-01-31T07:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。