論文の概要: Addition by Subtraction: Toward Mitigating Fragile Safety Alignment in Large Language Models
- arxiv url: http://arxiv.org/abs/2611.06553v1
- Date: Wed, 04 Nov 2026 14:18:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.132804
- Title: Addition by Subtraction: Toward Mitigating Fragile Safety Alignment in Large Language Models
- Title(参考訳): 減算による付加:大規模言語モデルにおけるフレージルセーフティアライメントの緩和に向けて
- Abstract要約: 大きな言語モデル(LLM)は、有害な世代を防ぐために安全アライメントを行うが、ジェイルブレイク攻撃には弱いままである。
安全性のアライメントは、少数のセーフティクリティカルニューロンを切断したり、単一の拒絶方向を非難することは、アライメントの動作を著しく損なう可能性がある。
本稿では、微調整中に識別された安全クリティカルニューロンを徐々に除去し、選好最適化を用いて、モデルの他の部分を通して安全に整合した行動を再確立するAddition by Subtractionを提案する。
- 参考スコア(独自算出の注目度): 51.884471367596575
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) undergo safety alignment to prevent harmful generations, yet they remain vulnerable to jailbreak attacks. Recent work reveals a deeper structural weakness: safety alignment can be highly sparse, such that pruning a small number of safety-critical neurons or ablating a single refusal direction can substantially undermine aligned behavior. In this work, we take the first steps toward strengthening safety alignment such that it is less dependent on sparse model components. We propose Addition by Subtraction, which gradually removes identified safety-critical neurons during finetuning and uses preference optimization to re-establish safety-aligned behavior through other parts of the model. Our results show that the resulting models are substantially more robust to pruning-based attacks. Remarkably, these benefits generalize beyond the white-box attacks motivating our design: Addition by Subtraction improves robustness against other sparsity-based interventions, including refusal-direction ablation, as well as a broad range of black-box jailbreak attacks. The finetuned models also exhibit improved truthfulness while largely preserving general capabilities. Comprehensive experiments across four models from three vendors demonstrate consistent improvements in safety robustness, reducing attack success rates by up to 90% for some attacks.
- Abstract(参考訳): 大きな言語モデル(LLM)は、有害な世代を防ぐために安全アライメントを行うが、ジェイルブレイク攻撃には弱いままである。
安全性のアライメントは、少数のセーフティクリティカルニューロンを切断したり、単一の拒絶方向を非難することは、アライメントの動作を著しく損なう可能性がある。
本研究は, スパースモデルコンポーネントに依存しない安全アライメントを強化するための第一歩である。
本稿では、微調整中に識別された安全クリティカルニューロンを徐々に除去し、選好最適化を用いて、モデルの他の部分を通して安全に整合した行動を再確立するAddition by Subtractionを提案する。
以上の結果から, プルーニングによる攻撃に対して, 結果のモデルの方が極めて堅牢であることが示唆された。
サブトラクションによる追加は、拒絶指向のアブレーションや、幅広いブラックボックスのジェイルブレイク攻撃を含む、他のスパシティベースの介入に対する堅牢性を改善します。
微調整されたモデルは、ほぼ一般的な能力を保ちながら、改善された真理性を示す。
3つのベンダーによる4つのモデルにわたる総合的な実験は、安全性の堅牢性の一貫した改善を示し、攻撃の成功率を最大90%削減する。
関連論文リスト
- Understanding and Mitigating Token-Pruning-Induced Vulnerabilities in VLMs [116.31911971711577]
Token-Pruningは、冗長なビジュアルトークンを削除することでビジョンランゲージモデルを加速する。
ほとんどのプルーニング戦略は、プルーニング比が増加するにつれて安全性を著しく低下させる。
極度のプルーニング(最大99.8%)は、予想外にモデルの安全性を向上させる。
論文 参考訳(メタデータ) (2026-10-07T09:01:09Z) - Safety Paradox: How Enhanced Safety Awareness Leaves LLMs Vulnerable to Posterior Attack [19.201635180438313]
大規模言語モデル(LLM)は、有害な要求を拒否するために厳格に整列されている。
本研究では、この高度な安全意識が必然的に致命的な脆弱性をもたらすことを明らかにする。
論文 参考訳(メタデータ) (2026-06-04T02:36:41Z) - SafeAligner: Safety Alignment against Jailbreak Attacks via Response Disparity Guidance [48.36220909956064]
SafeAlignerは、ジェイルブレイク攻撃に対する防御を強化するためのデコード段階で実装された方法論である。
安全性を高めるために訓練されたセンチネルモデルと、よりリスクの高い応答を生成するように設計されたイントルーダモデルである。
SafeAlignerは有害なトークンの発生を低減しつつ、有益トークンの可能性を高めることができることを示す。
論文 参考訳(メタデータ) (2024-06-26T07:15:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。