論文の概要: Mitigating Reasoning-Induced Misalignment via Safety-Direction Penalty
- arxiv url: http://arxiv.org/abs/2608.23497v1
- Date: Mon, 24 Aug 2026 16:57:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.211412
- Title: Mitigating Reasoning-Induced Misalignment via Safety-Direction Penalty
- Title（参考訳）: セーフティ・ディレクション・ペナルティによる推論によるミスアライメントの緩和
- Abstract要約: 推論データの微調整には、数学、コード、思考の連鎖による問題解決を含む有害な内容は含まないが、LLMの有害な振る舞いを誘発することができる。
本研究では, RIMとSDPの表現空間解析を行い, 微調整中に学習した安全方向に沿った動きを罰する。
Qwen2.5-3Bと7Bでは、SDPはベンチマーク推論性能を維持しながら安全性を回復する。
- 参考スコア（独自算出の注目度）: 8.24007829496575
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning-Induced Misalignment, where fine-tuning on reasoning data containing no harmful content, including mathematics, code, and problem-solving with chain-of-thought traces can induce harmful behaviors of LLM, posing a serious challenge to the safety of LLM reasoning. Cross-architecture, cross-scale, and cross-dataset checks show that RIM does not always emerge. Previous work attributed RIM to neuron-level entanglement, but did not identify the geometry of the representation space underlying this entanglement or propose a training-time fix. We provide both: a representation-space analysis of RIM and the Safety-Direction Penalty (SDP), which penalizes movement along a learned safety direction during reasoning fine-tuning. The analysis extracts two activation-space directions, one encoding reasoning ability and the other safety behavior. These directions are coupled: fine-tuning that improves reasoning shifts safety representations, and prompts with larger shifts show larger safety degradation. CKA distance ratios and probes locate the safety-decision layers where this shift is most relevant. These findings guide the design of SDP: the coupling motivates penalizing displacement along the safety direction, and the layer localization sets the initial scope. When the initial scope leaves compensatory shifts beyond the penalized layers, the same diagnostics guide iterative expansion. On Qwen2.5-3B and 7B, SDP restores safety while preserving benchmark reasoning performance.
- Abstract（参考訳）: 推論によるミスアライメントは、数学、コードを含む有害な内容を含む推論データや、チェーンオブソートトレースによる問題解決を微調整することで、LLMの有害な振る舞いを誘発し、LLM推論の安全性に深刻な課題を生じさせる。
クロスアーキテクチャ、クロススケール、クロスデータセットチェックは、RIMが常に現れるとは限らないことを示している。
以前の研究ではRIMはニューロンレベルの絡み合いによるものと考えられていたが、この絡み合いの根底にある表現空間の幾何学を特定できなかった。
本稿では, RIMの空間的表現分析と, 微調整中の学習された安全方向に沿った動きを罰する安全指向罰(SDP)について述べる。
この分析は、2つのアクティベーション空間方向、すなわち1つの符号化推論能力ともう1つの安全性挙動を抽出する。
これらの方向は、推論のシフトを改善する微調整と、より大きなシフトで安全性が低下することを示す。
CKA距離比とプローブは、このシフトが最も関係している安全決定層を特定する。
これらの結果はSDPの設計を導くものであり、結合は安全方向に沿ったペナル化変位を動機付け、層ローカライゼーションは初期スコープを設定する。
初期スコープがペナル化層を超えて補償的シフトを残すと、同じ診断が反復的拡張を導く。
Qwen2.5-3Bと7Bでは、SDPはベンチマーク推論性能を維持しながら安全性を回復する。
関連論文リスト
- From Detection to Refusal: Safer LLMs via Circuit-Guided Weight Scaling [23.223636694641502]
大規模言語モデル(LLM)は、敵対的プロンプトの下で安全でないコンテンツを生成するのに脆弱である。
機械的解釈可能性の観点から安全性を研究し、多段*安全回路を特徴付ける*
我々は、上流のハーモフル検出ヘッドの抑制が下流の拒絶動作を妨害し、安全ニューロンがこの相互作用を媒介することを示した。
論文 参考訳（メタデータ） (2026-08-30T08:01:42Z) - HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment [23.776344382492997]
本研究は,LLMのアライメントにより,残差ストリームにおける有害性と拒絶を,プロンプト側トークン位置における分離可能な方向としてエンコードしていることを示す。
本稿では,2方向をプロンプト位置と応答位置でペアリングする微調整手法であるHARCを紹介する。
論文 参考訳（メタデータ） (2026-07-01T07:58:16Z) - Mitigating Safety Tax via Distribution-Grounded Refinement in Large Reasoning Models [63.368505631152594]
安全調整は、大きな推論モデル(LRM)の一般的な推論能力を乱す安全税を発生させる。
LRMの安全アライメントに使われる既存のデータセットは、通常、外部のLRMまたは人間のラベルから安全推論の痕跡と回答を蒸留することによって構築される。
本稿では,DGRと呼ばれる安全アライメントデータセット構築手法を提案する。DGRは,既存のアウト・オブ・ディストリビューション型安全推論データセットを改良し,目標のLLM内部分布に適合させる。
論文 参考訳（メタデータ） (2026-02-02T14:18:48Z) - THINKSAFE: Self-Generated Safety Alignment for Reasoning Models [60.10077024249373]
外部の教師がいなくても安心して安心できるフレームワークであるThinkSafeを提案する。
我々の重要な洞察は、コンプライアンスは安全メカニズムを抑制するが、モデルはしばしば害を特定するために潜伏した知識を保持することである。
DeepSeek-R1-DistillとQwen3の実験では、ThinkSafeは推論能力を維持しながら安全性を大幅に向上している。
論文 参考訳（メタデータ） (2026-01-30T16:31:02Z) - How Does Prefix Matter in Reasoning Model Tuning? [57.69882799751655]
推論(数学)、コーディング、安全性、事実性の3つのコアモデル機能にまたがる3つのR1シリーズモデルを微調整します。
その結果,プレフィックス条件付きSFTでは安全性と推論性能が向上し,Safe@1の精度は最大で6%向上した。
論文 参考訳（メタデータ） (2026-01-04T18:04:23Z) - Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。
我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
論文 参考訳（メタデータ） (2025-09-29T07:41:09Z) - ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。
ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
論文 参考訳（メタデータ） (2025-07-14T09:05:54Z) - Probing the Robustness of Large Language Models Safety to Latent Perturbations [30.16804362984161]
安全アライメントは、信頼できる人工知能を構築する上で重要な要件である。
我々は、小さな潜伏シフトが、整列モデルにおける安全でない応答を引き起こすことを観察する。
学習中に隠された表現に制御された摂動を注入する微調整戦略であるLayer-wise Adversarial Patch Training (LAPT)を導入する。
論文 参考訳（メタデータ） (2025-06-19T07:03:05Z) - Why LLM Safety Guardrails Collapse After Fine-tuning: A Similarity Analysis Between Alignment and Fine-tuning Datasets [64.96967819446553]
本稿では,上流アライメントデータセットと下流微調整タスクの表現類似性のレンズによる安全ガードレールの劣化について検討する。
これらのデータセット間の高い類似性は、安全ガードレールを著しく弱め、モデルがジェイルブレイクの影響を受けやすくする。
これら2種類のデータセット間の類似性が低いと、より堅牢なモデルが得られ、有害度スコアが最大10.33%減少する。
論文 参考訳（メタデータ） (2025-06-05T17:59:55Z) - Safety Subspaces are Not Linearly Distinct: A Fine-Tuning Case Study [10.17362679822278]
大規模言語モデルは社会的に許容できる応答を生成するために安全アライメントに依存している。
増大する作業体は、アライメントが重量空間における識別可能な方向に対応する可能性があることを示唆している。
安全性はモデルの一般的な学習要素と強く結びついていることが示される。
論文 参考訳（メタデータ） (2025-05-20T10:41:49Z) - Improving LLM Safety Alignment with Dual-Objective Optimization [81.98466438000086]
大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。
本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
論文 参考訳（メタデータ） (2025-03-05T18:01:05Z) - The Hidden Dimensions of LLM Alignment: A Multi-Dimensional Analysis of Orthogonal Safety Directions [20.522881564776434]
安全に整合した行動は多次元方向で共同制御されている。
空間内の方向を研究することで、まず支配的な方向がモデルの拒絶行動を支配することが分かる。
次に、異なる方向が支配的な方向をいかに促進または抑制するかを測定する。
論文 参考訳（メタデータ） (2025-02-13T06:39:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。