論文の概要: DeShortcut-Align: Decoupling Spurious Shortcuts for Robust Safety Alignment in Large Reasoning Models
- arxiv url: http://arxiv.org/abs/2609.34896v1
- Date: Mon, 28 Sep 2026 11:01:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:55:25.976245
- Title: DeShortcut-Align: Decoupling Spurious Shortcuts for Robust Safety Alignment in Large Reasoning Models
- Title（参考訳）: デショートカットアライメント:大型共振器モデルにおけるロバスト安全アライメントのためのスプーラスショートカットのデカップリング
- Abstract要約: 大きな推論モデルの安全性アライメントは、ほぼ完全な安全性スコアをもたらすことが多いが、この明らかな成功は、過度に拒絶され、劣化した汎用能力の犠牲になる。
DeShortcut-Alignは、表面的キューへの依存を減らすショートカットデカップリングアライメントフレームワークである。
- 参考スコア（独自算出の注目度）: 26.322644849094406
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Safety alignment of large reasoning models (LRMs) via supervised fine-tuning (SFT) and reinforcement learning (RL) often yields near-perfect safety scores, yet this apparent success comes at the cost of severe over-refusal and degraded general capabilities. Through systematic empirical analysis, we find that these failures are closely associated with the learning of spurious shortcuts rather than robust intent-sensitive safety evaluation. Specifically, we identify two dominant shortcuts: formatting shortcuts, where refusal behaviors are overly bound to structural prompt templates that frequently appear in safety alignment corpora; and lexical shortcuts, where sensitive keywords reflexively trigger refusals on benign queries. To mitigate reliance on these shortcuts, we propose DeShortcut-Align, a shortcut-decoupling alignment framework that reduces dependence on superficial cues. DeShortcut-Align operates across three coordinated stages: (1) Refusal Sensitivity Attribution, which masks input tokens to quantify their impact on the final refusal response distribution; (2) Attribution-Guided Contrastive Augmentation, which constructs benign contrastive samples using high-sensitivity tokens to mitigate lexical shortcuts; and (3) Counterfactual Consistency Regularization, which constructs template-ablated states via attention blinding to enforce decision consistency across SFT and RL, mitigating formatting shortcut dependence. Experiments on 7B and 14B models demonstrate that DeShortcut-Align significantly improves robustness against template-stripping bypass attacks (reducing performance drops by up to 72%), substantially reduces over-refusal by over 58%, and better preserves general-purpose reasoning capabilities, thereby mitigating the alignment tax commonly observed in safety training.
- Abstract（参考訳）: 教師付き微調整(SFT)と強化学習(RL)による大きな推論モデル(LRM)の安全性アライメントは、ほぼ完全な安全性スコアを得ることが多いが、この明らかな成功は、過度に拒絶され、劣化した汎用能力を犠牲にしてしまう。
系統的な実証分析により、これらの障害は、頑健な意図に敏感な安全性評価ではなく、急激なショートカットの学習と密接に関連していることがわかった。
具体的には、リフレクション動作が安全アライメントコーパスに頻繁に現れる構造的プロンプトテンプレートに過度に結びついているショートカットのフォーマットと、センシティブなキーワードがベニグナークエリのリフレクションを反射的に引き起こす語彙的ショートカットの2つの主要なショートカットを識別する。
これらのショートカットへの依存を軽減するために、表面的なキューへの依存を減らすショートカット分離アライメントフレームワークであるDeShortcut-Alignを提案する。
DeShortcut-Align は,(1) 入力トークンをマスクして最終拒絶応答分布への影響を定量化する Refusal Sensitivity Attribution ,(2) 属性ガイドによるコントラスト増大,(3) 高感度トークンを用いた良質なコントラストサンプルの構築,(3) テンプレート適応状態の構築,SFT と RL 間の決定一貫性の強化,といった3つの調整段階で動作する。
7Bモデルと14Bモデルの実験では、DeShortcut-Alignはテンプレートストリップバイパス攻撃に対するロバスト性を著しく改善し(パフォーマンス低下を最大72%低減)、オーバーリフレクションを58%以上削減し、汎用推論能力を向上し、安全訓練でよく見られるアライメント税の軽減を図っている。
関連論文リスト
- HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment [23.776344382492997]
本研究は,LLMのアライメントにより,残差ストリームにおける有害性と拒絶を,プロンプト側トークン位置における分離可能な方向としてエンコードしていることを示す。
本稿では,2方向をプロンプト位置と応答位置でペアリングする微調整手法であるHARCを紹介する。
論文 参考訳（メタデータ） (2026-07-01T07:58:16Z) - Suppressing Forgery-Specific Shortcuts for Generalizable Deepfake Detection [59.056076147081775]
ディープフェイク検出は偽造法全体の一般化が不十分である。
近年のアプローチでは一般化の改善が試みられているが、そのようなショートカットを特定して抑制するための明確なメカニズムは欠如している。
本稿では,メソッド固有のショートカットを明示的に特徴付け,抑制するショートカットサブスペース抑圧(S3)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-01T07:54:58Z) - TraceGuard: Process-Guided Firewall against Reasoning Backdoors in Large Language Models [19.148124494194317]
我々は,小規模モデルを堅牢な推論ファイアウォールに変換するプロセス誘導型セキュリティフレームワークであるTraceGuardを提案する。
提案手法は,推理トレースを信頼できないペイロードとして扱い,詳細な防衛戦略を確立する。
グレーボックス設定における適応的敵に対する堅牢性を実証し、TraceGuardを実用的で低レイテンシなセキュリティプリミティブとして確立する。
論文 参考訳（メタデータ） (2026-03-02T22:19:13Z) - Stop Rewarding Hallucinated Steps: Faithfulness-Aware Step-Level Reinforcement Learning for Small Reasoning Models [59.6715047267181]
小さな推論モデル(SRM)は、特に中間的推論ステップにおいて幻覚を起こす傾向がある。
オンライン強化学習に基づく既存の緩和手法は、結果に基づく報酬や粗粒度の連鎖評価に依存している。
本稿では、プロセス報酬モデルから、明示的な忠実度報酬を通じてステップレベルの監視を導入する、Fithfulness-Aware Step-Level Reinforcement Learning (FaithRL)を提案する。
論文 参考訳（メタデータ） (2026-02-05T17:15:12Z) - Self-Guard: Defending Large Reasoning Models via enhanced self-reflection [54.775612141528164]
Self-Guardは、大規模推論モデルのための軽量な安全防御フレームワークである。
これは認識とコンプライアンスのギャップを埋め、モデルユーティリティを損なうことなく堅牢な安全性能を達成する。
セルフガードは、さまざまな未知のリスクとさまざまなモデルスケールにまたがる強力な一般化を示す。
論文 参考訳（メタデータ） (2026-01-31T13:06:11Z) - EASE: Practical and Efficient Safety Alignment for Small Language Models [4.839980912290382]
小型言語モデル(SLM)は、エッジデバイスにますますデプロイされ、安全性の整合性は重要でありながら困難である。
小型ランガグモデルに対する実用的で効率的な安全アライメントを実現するための新しいフレームワークであるEASEを提案する。
論文 参考訳（メタデータ） (2025-11-09T19:46:54Z) - Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。
我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
論文 参考訳（メタデータ） (2025-09-29T07:41:09Z) - AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models [62.70575022567081]
本稿では,逆CoTチューニングによる動的自己補正をモデルに教えるアライメントパラダイムであるAdvChainを提案する。
私たちの仕事は、より堅牢で信頼性の高い推論モデルを構築するための新しい方向性を確立します。
論文 参考訳（メタデータ） (2025-09-29T04:27:23Z) - ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。
ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
論文 参考訳（メタデータ） (2025-07-14T09:05:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。