Fugu-MT 論文翻訳(概要): Towards Identification and Intervention of Safety-Critical Parameters in Large Language Models

論文の概要: Towards Identification and Intervention of Safety-Critical Parameters in Large Language Models

arxiv url: http://arxiv.org/abs/2604.08297v1
Date: Thu, 09 Apr 2026 14:31:42 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-10 18:34:05.964398
Title: Towards Identification and Intervention of Safety-Critical Parameters in Large Language Models
Title（参考訳）: 大規模言語モデルにおける安全批判パラメータの同定と介入に向けて
Authors: Weiwei Qi, Zefeng Wu, Tianhang Zheng, Zikang Zhang, Xiaojun Jia, Zhan Qin, Kui Ren,
Abstract要約: 大言語モデル(LLM)の安全性は重要であるが、安全性メカニズムに関する明確な理解の欠如は、安全介入のための正確で信頼性の高い方法論の開発を妨げる。我々は,LLMの安全性に異なるパラメータがどう影響するかを定量化するための,期待された安全影響(ESI)フレームワークを提案する。
参考スコア（独自算出の注目度）: 39.89636417379952
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Ensuring Large Language Model (LLM) safety is crucial, yet the lack of a clear understanding about safety mechanisms hinders the development of precise and reliable methodologies for safety intervention across diverse tasks. To better understand and control LLM safety, we propose the Expected Safety Impact (ESI) framework for quantifying how different parameters affect LLM safety. Based on ESI, we reveal distinct safety-critical patterns across different LLM architectures: In dense LLMs, many safety-critical parameters are located in value matrices (V) and MLPs in middle layers, whereas in Mixture-of-Experts (MoE) models, they shift to the late-layer MLPs. Leveraging ESI, we further introduce two targeted intervention paradigms for safety enhancement and preservation, i.e., Safety Enhancement Tuning (SET) and Safety Preserving Adaptation (SPA). SET can align unsafe LLMs by updating only a few safety-critical parameters, effectively enhancing safety while preserving original performance. SPA safeguards well-aligned LLMs during capability-oriented intervention (e.g., instruction tuning) by preventing disruption of safety-critical weights, allowing the LLM to acquire new abilities and maintain safety capabilities. Extensive evaluations on different LLMs demonstrate that SET can reduce the attack success rates of unaligned LLMs by over 50% with only a 100-iteration update on 1% of model weights. SPA can limit the safety degradation of aligned LLMs within 1% after a 1,000-iteration instruction fine-tuning on different tasks. Our code is available at: https://github.com/ZJU-LLM-Safety/SafeWeights-ACL.
Abstract（参考訳）: LLM(Large Language Model)の安全性の確保は重要であるが、安全性メカニズムに関する明確な理解の欠如は、さまざまなタスクにわたる安全介入のための正確で信頼性の高い方法論の開発を妨げる。 LLMの安全性をよりよく理解し、制御するために、異なるパラメータがLLMの安全性に与える影響を定量化するための期待安全影響(ESI)フレームワークを提案する。密集LLMでは、多くの安全クリティカルパラメータが中層に値行列(V)とMLPに配置されているのに対し、Mixture-of-Experts(MoE)モデルでは、後期層に移行している。 ESIを活用し,安全性向上・保全のための2つの介入パラダイム,すなわち安全性向上調整(SET)と安全保全適応(SPA)を導入する。 SETは、いくつかの安全クリティカルパラメータだけを更新することで安全でないLLMを調整でき、元の性能を維持しながら安全性を効果的に向上できる。 SPAは、安全クリティカルウェイトが破壊されるのを防ぐことによって、能力指向の介入(例えば、命令チューニング)の間、適切に整列されたLLMを保護し、LLMが新たな能力を獲得し、安全能力を維持できるようにする。異なるLLMに対する広範囲な評価により,SETはモデル重量の1%に対して100項目の更新しか行わず,不整合LDMの攻撃成功率を50%以上削減できることが示された。 SPAは,タスクの微調整を1000回行った後,アライメントLDMの安全性低下を1%以内で抑制することができる。私たちのコードは、https://github.com/ZJU-LLM-Safety/SafeWeights-ACLで利用可能です。

論文の概要: Towards Identification and Intervention of Safety-Critical Parameters in Large Language Models

関連論文リスト