論文の概要: Towards Identification and Intervention of Safety-Critical Parameters in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.08297v1
• Date: Thu, 09 Apr 2026 14:31:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.964398
• Title: Towards Identification and Intervention of Safety-Critical Parameters in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける安全批判パラメータの同定と介入に向けて
• Abstract要約: 大言語モデル(LLM)の安全性は重要であるが、安全性メカニズムに関する明確な理解の欠如は、安全介入のための正確で信頼性の高い方法論の開発を妨げる。 我々は,LLMの安全性に異なるパラメータがどう影響するかを定量化するための,期待された安全影響(ESI)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 39.89636417379952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensuring Large Language Model (LLM) safety is crucial, yet the lack of a clear understanding about safety mechanisms hinders the development of precise and reliable methodologies for safety intervention across diverse tasks. To better understand and control LLM safety, we propose the Expected Safety Impact (ESI) framework for quantifying how different parameters affect LLM safety. Based on ESI, we reveal distinct safety-critical patterns across different LLM architectures: In dense LLMs, many safety-critical parameters are located in value matrices (V) and MLPs in middle layers, whereas in Mixture-of-Experts (MoE) models, they shift to the late-layer MLPs. Leveraging ESI, we further introduce two targeted intervention paradigms for safety enhancement and preservation, i.e., Safety Enhancement Tuning (SET) and Safety Preserving Adaptation (SPA). SET can align unsafe LLMs by updating only a few safety-critical parameters, effectively enhancing safety while preserving original performance. SPA safeguards well-aligned LLMs during capability-oriented intervention (e.g., instruction tuning) by preventing disruption of safety-critical weights, allowing the LLM to acquire new abilities and maintain safety capabilities. Extensive evaluations on different LLMs demonstrate that SET can reduce the attack success rates of unaligned LLMs by over 50% with only a 100-iteration update on 1% of model weights. SPA can limit the safety degradation of aligned LLMs within 1% after a 1,000-iteration instruction fine-tuning on different tasks. Our code is available at: https://github.com/ZJU-LLM-Safety/SafeWeights-ACL.
• Abstract（参考訳）: LLM(Large Language Model)の安全性の確保は重要であるが、安全性メカニズムに関する明確な理解の欠如は、さまざまなタスクにわたる安全介入のための正確で信頼性の高い方法論の開発を妨げる。 LLMの安全性をよりよく理解し、制御するために、異なるパラメータがLLMの安全性に与える影響を定量化するための期待安全影響(ESI)フレームワークを提案する。 密集LLMでは、多くの安全クリティカルパラメータが中層に値行列(V)とMLPに配置されているのに対し、Mixture-of-Experts(MoE)モデルでは、後期層に移行している。 ESIを活用し,安全性向上・保全のための2つの介入パラダイム,すなわち安全性向上調整(SET)と安全保全適応(SPA)を導入する。 SETは、いくつかの安全クリティカルパラメータだけを更新することで安全でないLLMを調整でき、元の性能を維持しながら安全性を効果的に向上できる。 SPAは、安全クリティカルウェイトが破壊されるのを防ぐことによって、能力指向の介入(例えば、命令チューニング)の間、適切に整列されたLLMを保護し、LLMが新たな能力を獲得し、安全能力を維持できるようにする。 異なるLLMに対する広範囲な評価により,SETはモデル重量の1%に対して100項目の更新しか行わず,不整合LDMの攻撃成功率を50%以上削減できることが示された。 SPAは,タスクの微調整を1000回行った後,アライメントLDMの安全性低下を1%以内で抑制することができる。 私たちのコードは、https://github.com/ZJU-LLM-Safety/SafeWeights-ACLで利用可能です。

関連論文リスト

• Distilling Safe LLM Systems via Soft Prompts for On Device Settings [15.154042788412879]
  本稿では,資源制約設定のためのパラメータ効率の高い安全アライメント手法を提案する。 蒸留法に基づく訓練とソフトプロンプトが相まって、代替手法を一貫して上回っていることを確認した。
  論文  参考訳（メタデータ） (2026-06-08T12:03:51Z)
• LSSF: Safety Alignment for Large Language Models through Low-Rank Safety Subspace Fusion [16.434293020863592]
  大きな言語モデル(LLM)の安全性メカニズムは、有害なコンテンツのないデータセットの微調整でさえも、その安全性能力を損なう可能性があるため、顕著な脆弱性を示す。 LSSF, underline-Rank underlineSafety underlineSubspace underlineFusion。 提案手法は,低ランクプロジェクション行列の構築により,LLMの安全性情報の低ランク特性を利用する。
  論文  参考訳（メタデータ） (2026-01-19T03:59:12Z)
• UpSafe$^\circ$C: Upcycling for Controllable Safety in Large Language Models [67.91151588917396]
  大規模言語モデル(LLM)は、幅広いタスクで顕著な進歩を遂げているが、有害なコンテンツ生成やジェイルブレイク攻撃といった安全リスクに弱いままである。 安全に配慮したリサイクルによるLCMの安全性向上のための統合フレームワークであるUpSafe$circ$Cを提案する。 この結果から, 静的アライメントから動的, モジュール, 推論対応制御への移行という, LLMの安全性の新たな方向性が明らかになった。
  論文  参考訳（メタデータ） (2025-10-02T16:43:33Z)
• Reshaping Representation Space to Balance the Safety and Over-rejection in Large Audio Language Models [50.89022445197919]
  Large Audio Language Models (LALM) は、Large Language Models (LLM) の機能を拡張した。 近年の研究では、LALMは安全調整が不十分なため、有害なクエリに対して脆弱であることが明らかになっている。
  論文  参考訳（メタデータ） (2025-05-26T08:25:25Z)
• Safeguard Fine-Tuned LLMs Through Pre- and Post-Tuning Model Merging [47.33307521558814]
  下流タスクのための微調整された大型言語モデル(LLM)は、しばしば破滅的な忘れを招きます。 プレファインモデルとポストファインモデルとの重み付けを単純に組み合わせれば安全性の低下が軽減され,性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-12-27T08:03:22Z)
• Safety Layers in Aligned Large Language Models: The Key to LLM Security [43.805905164456846]
  整列 LLM の内部パラメータは、微調整攻撃を受けた場合のセキュリティ劣化に対して脆弱である。 我々の研究は、パラメータレベルでのLLMの整列化におけるセキュリティのメカニズムを明らかにし、モデルの中央に小さな連続した層を識別する。 そこで本稿では, 安全部分調整(SPPFT)方式を提案する。
  論文  参考訳（メタデータ） (2024-08-30T04:35:59Z)
• Navigating the Safety Landscape: Measuring Risks in Finetuning Large Language Models [65.06446825020578]
  大規模言語モデル(LLM)が人間の嗜好に合わせて行動し、推論中に有害な行動を防ぐためには、安全性の調整が不可欠である。 我々は, LLMの安全景観をナビゲートすることで, LLMの微調整のリスクを測定することを目的としている。
  論文  参考訳（メタデータ） (2024-05-27T17:31:56Z)
• S-Eval: Towards Automated and Comprehensive Safety Evaluation for Large Language Models [46.148439517272024]
  生成型大規模言語モデル (LLMs) は、自然言語処理に革命をもたらした。 最近の証拠は、LLMが社会規範に反する有害なコンテンツを生成できることを示している。 S-Evalは,新たに定義された包括的リスク分類を持つ自動安全評価フレームワークである。
  論文  参考訳（メタデータ） (2024-05-23T05:34:31Z)
• Towards Comprehensive Post Safety Alignment of Large Language Models via Safety Patching [74.62818936088065]
  textscSafePatchingは包括的なPSAのための新しいフレームワークである。 textscSafePatchingはベースラインメソッドよりも包括的なPSAを実現する。 textscSafePatchingは、連続的なPSAシナリオにおいて、その優位性を示している。
  論文  参考訳（メタデータ） (2024-05-22T16:51:07Z)
• Uncovering Safety Risks of Large Language Models through Concept Activation Vector [13.804245297233454]
  大規模言語モデル(LLM)に対する攻撃を誘導する安全概念活性化ベクトル(SCAV)フレームワークについて紹介する。 そこで我々は,攻撃プロンプトと埋め込みレベルの攻撃の両方を生成できるSCAV誘導攻撃法を開発した。 本手法は,トレーニングデータが少なくなるとともに,攻撃成功率と応答品質を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T09:46:25Z)
• Eyes Closed, Safety On: Protecting Multimodal LLMs via Image-to-Text Transformation [98.02846901473697]
  我々は,MLLMの本来の安全意識を生かしたトレーニング不要な保護手法であるECSO(Eyes Closed, Safety On)を提案する。 ECSOは、安全でない画像をテキストに適応的に変換することで、より安全な応答を生成し、予め整列されたLCMの本質的な安全性メカニズムを活性化する。
  論文  参考訳（メタデータ） (2024-03-14T17:03:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。