論文の概要: Does Deeper Reasoning Compromise Alignment? Revealing and Mitigating of Alignment Collapse in Large Reasoning Models
- arxiv url: http://arxiv.org/abs/2609.08186v1
- Date: Tue, 08 Sep 2026 03:18:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.565439
- Title: Does Deeper Reasoning Compromise Alignment? Revealing and Mitigating of Alignment Collapse in Large Reasoning Models
- Title（参考訳）: 共振器の収差はより深いか? -共振器モデルによる配向崩壊の解明と緩和-
- Abstract要約: 本稿では,Deep Reasoning May Induce Alignment Collapseという,重大な脆弱性を明らかにすることで,一般的な考え方に挑戦する。
実験により, 推理深度が増大するにつれてALRは著しく上昇し, 外部摂動に対するモデルロバスト性は著しく低下することが示された。
我々は、拡張推論プロセスと元の入力との注意の競争から生じる、注意の希釈を根本原因とみなす。
- 参考スコア（独自算出の注目度）: 8.037716792115782
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The emergence of Chain-of-Thought (CoT) has established a robust foundation for Large Reasoning Models (LRMs). While deep reasoning is widely believed to enhance safety alignment, the stability of alignment mechanisms under extended reasoning remains underexplored. This paper challenges the prevailing view by revealing a critical vulnerability: Deep Reasoning May Induce Alignment Collapse. To rigorously quantify this phenomenon, we propose the Alignment Loss Rate (ALR) metric. Our experiments demonstrate that as reasoning depth increases, ALR rises significantly, indicating a severe degradation in model robustness against external perturbations. Capitalizing on this instability, a novel jailbreaking paradigm, Reasoning Trap (RT), is proposed. RT induces the model into extended reasoning to amplify the impact of adversarial attacks, leading to a sharp decline in safety capabilities. To elucidate the mechanism behind this collapse, we identify Attention Dilution as the root cause, arising from the competition for attention between the extended reasoning process and the original input. To mitigate this, Reasoning Residual Alignment (RRA), a lightweight defense strategy that dynamically re-emphasizes the input via residual connections integrated with the reasoning process.
- Abstract（参考訳）: CoT(Chain-of-Thought)の出現は、Large Reasoning Models(LRMs)の堅牢な基盤を確立した。
深い推論は安全アライメントを高めると広く信じられているが、拡張された推論の下でのアライメント機構の安定性は未解明のままである。
本稿では,Deep Reasoning May Induce Alignment Collapseという,重大な脆弱性を明らかにすることで,一般的な考え方に挑戦する。
この現象を厳密に定量化するために、アライメント損失率(ALR)測定法を提案する。
実験により, 推理深度が増大するにつれてALRは著しく上昇し, 外部摂動に対するモデルロバスト性は著しく低下することが示された。
この不安定性に乗じて、新しいジェイルブレイクパラダイムであるReasoning Trap(RT)を提案する。
RTは、敵攻撃の影響を増幅するためにモデルを拡張推論に誘導し、安全能力の急激な低下につながった。
この崩壊のメカニズムを解明するために,拡張推論プロセスと元の入力との競合から生じる根本原因として注意希釈を同定する。
これを軽減するために、Reasoning Residual Alignment (RRA)は、推論プロセスと統合された残差接続を介して入力を動的に再強調する軽量防衛戦略である。
関連論文リスト
- Alignment-Weighted DPO: A principled reasoning approach to improve safety alignment [13.463606100715504]
大規模な言語モデルは、有害な意図を偽装する攻撃に対して脆弱である。
この脆弱性は、深い推論を欠く浅いアライメント機構に由来する。
本稿では,推論学習によるアライメントの強化を提案する。
論文 参考訳（メタデータ） (2026-02-24T20:30:51Z) - Mitigating Safety Tax via Distribution-Grounded Refinement in Large Reasoning Models [63.368505631152594]
安全調整は、大きな推論モデル(LRM)の一般的な推論能力を乱す安全税を発生させる。
LRMの安全アライメントに使われる既存のデータセットは、通常、外部のLRMまたは人間のラベルから安全推論の痕跡と回答を蒸留することによって構築される。
本稿では,DGRと呼ばれる安全アライメントデータセット構築手法を提案する。DGRは,既存のアウト・オブ・ディストリビューション型安全推論データセットを改良し,目標のLLM内部分布に適合させる。
論文 参考訳（メタデータ） (2026-02-02T14:18:48Z) - APR: Penalizing Structural Redundancy in Large Reasoning Models via Anchor-based Process Rewards [61.52322047892064]
テスト時間スケーリング(TTS)は、Large Reasoning Models(LRM)の機能を大幅に強化した。
我々は, LRM が推論過程において最終回答を得た後も, 再検討なしに反復的自己検証を頻繁に行うことを観察した。
本稿では,Anchor-based Process Reward (APR)を提案する。
論文 参考訳（メタデータ） (2026-01-31T14:53:20Z) - THINKSAFE: Self-Generated Safety Alignment for Reasoning Models [60.10077024249373]
外部の教師がいなくても安心して安心できるフレームワークであるThinkSafeを提案する。
我々の重要な洞察は、コンプライアンスは安全メカニズムを抑制するが、モデルはしばしば害を特定するために潜伏した知識を保持することである。
DeepSeek-R1-DistillとQwen3の実験では、ThinkSafeは推論能力を維持しながら安全性を大幅に向上している。
論文 参考訳（メタデータ） (2026-01-30T16:31:02Z) - Consistency Is Not Always Correct: Towards Understanding the Role of Exploration in Post-Training Reasoning [75.79451512757844]
基礎モデルは幅広い知識を示すが、タスク固有の推論は限定的である。
RLVRと推論スケーリングは、RLVRや推論スケーリングのようなトレーニング後の戦略を動機付けます。
RLVRはスキューズ効果を誘発し,推論エントロピーを減少させ,正しい経路を忘れることを示した。
論文 参考訳（メタデータ） (2025-11-10T18:25:26Z) - AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models [62.70575022567081]
本稿では,逆CoTチューニングによる動的自己補正をモデルに教えるアライメントパラダイムであるAdvChainを提案する。
私たちの仕事は、より堅牢で信頼性の高い推論モデルを構築するための新しい方向性を確立します。
論文 参考訳（メタデータ） (2025-09-29T04:27:23Z) - When Thinking Backfires: Mechanistic Insights Into Reasoning-Induced Misalignment [23.096167213579957]
Reasoning-induced Misalignment (RIM) は推論能力が強化されたときに現れる。
RIMは推論やトレーニング中に特定のタイプの推論パターンが導入されたときに発生する。
トレーニング中、安全クリティカルニューロンの推論と安全性の間には、アクティベーションの絡み合いが著しく高いことが判明した。
論文 参考訳（メタデータ） (2025-08-30T16:04:54Z) - Is Reasoning All You Need? Probing Bias in the Age of Reasoning Language Models [0.0]
RLM(Reasoning Language Models)は、複雑な多段階推論タスクを実行する能力によって注目を集めている。
これらの能力は信頼性の向上を約束するが、社会的バイアスに対する堅牢性への影響はまだ不明だ。
我々は, CLEAR-Bias ベンチマークを用いて, RLM のバイアス誘発に対する対角的ロバスト性について検討する。
論文 参考訳（メタデータ） (2025-07-03T17:01:53Z) - Lost at the Beginning of Reasoning [85.17612793300238]
第1の推論ステップが最終予測に不当に大きな影響を与えることを示す。
本稿では、報酬モデルを利用して高品質な第1推論ステップを特定し、維持する効率的なサンプリング戦略を提案する。
論文 参考訳（メタデータ） (2025-06-27T09:53:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。