論文の概要: SafeMERGE: Preserving Safety Alignment in Fine-Tuned Large Language Models via Selective Layer-Wise Model Merging

• arxiv url: http://arxiv.org/abs/2503.17239v2
• Date: Mon, 27 Oct 2025 17:40:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 22:08:13.712921
• Title: SafeMERGE: Preserving Safety Alignment in Fine-Tuned Large Language Models via Selective Layer-Wise Model Merging
• Title（参考訳）: SafeMERGE:Selective Layer-Wise Model Mergingによる微調整大型言語モデルの安全性確保
• Authors: Aladin Djuhera, Swanand Ravindra Kadhe, Farhan Ahmed, Syed Zawad, Holger Boche,
• Abstract要約: 微調整された大型言語モデル(LLM)は安全性を損なう可能性があるため、LSMは有害または非倫理的なプロンプトに応答する。 本稿では,下流性能を維持しながら安全性を維持する軽量なポストファインニングフレームワークであるSafeMERGEを提案する。 以上の結果から,選択的層ワイドマージは微調整時の安全性の低下を効果的に防ぐことができることが示された。
• 参考スコア（独自算出の注目度）: 30.820398160975504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning large language models (LLMs) is a common practice to adapt generalist models to specialized domains. However, recent studies show that fine-tuning can erode safety alignment, causing LLMs to respond to harmful or unethical prompts. Many methods to realign safety have been proposed, but often introduce custom algorithms that are difficult to implement or compromise task utility. In this work, we propose SafeMERGE, a lightweight, post-fine-tuning framework that preserves safety while maintaining downstream performance. SafeMERGE selectively merges fine-tuned with safety-aligned model layers only when they deviate from safe behavior, measured by a cosine similarity criterion. Across three LLMs and two tasks, SafeMERGE consistently reduces harmful outputs compared to other defenses, with negligible or even positive impact on utility. Our results demonstrate that selective layer-wise merging offers an effective safeguard against the inadvertent loss of safety during fine-tuning, establishing SafeMERGE as a simple post-fine-tuning defense.
• Abstract（参考訳）: ファインチューニング大型言語モデル(LLMs)は、ジェネラリストモデルを特殊なドメインに適応させる一般的なプラクティスである。 しかし、最近の研究では、微調整が安全性を損なうことが示されており、LSMは有害または非倫理的なプロンプトに反応する。 安全性を実現するための多くの方法が提案されているが、しばしばタスクユーティリティの実装や妥協が難しいカスタムアルゴリズムを導入している。 本研究は,下流性能を維持しながら安全性を維持する軽量なポストファインニングフレームワークであるSafeMERGEを提案する。 SafeMERGEは、コサイン類似度基準によって測定された安全な行動から逸脱した場合にのみ、安全に整合したモデルレイヤーと微調整を選択的にマージする。 3つのLSMと2つのタスクにわたって、SafeMERGEは、実用性に無視的あるいは肯定的な影響を伴って、他の防御よりも有害なアウトプットを一貫して削減する。 以上の結果から, 選択的層ワイドマージは, 微調整時の安全性の低下を効果的に防ぎ, 単純な微調整後防御としてSafeMERGEを確立できることが示唆された。

関連論文リスト

• Shape it Up! Restoring LLM Safety during Finetuning [66.46166656543761]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• Enhancing AI Safety Through the Fusion of Low Rank Adapters [7.384556630042846]
  低ランク適応核融合は、悪意のあるプロンプトに直面した場合に有害な応答を緩和する。 タスクアダプタと安全アダプタとのLoRA融合を利用して, 有害度率を42%低減した。 また、モデルが安全でないものに近い安全なプロンプトを拒否する、誇張された安全行動も観察する。
  論文  参考訳（メタデータ） (2024-12-30T13:12:27Z)
• Safeguard Fine-Tuned LLMs Through Pre- and Post-Tuning Model Merging [43.44112117935541]
  下流タスクのための細調整された大型言語モデル(LLM)は、安全に整合したLLMの安全性を低下させる。 下流タスク性能を向上しつつ, LLM 固有の安全性を維持する手法を提案する。
  論文  参考訳（メタデータ） (2024-12-27T08:03:22Z)
• Safety Layers in Aligned Large Language Models: The Key to LLM Security [43.805905164456846]
  整列 LLM の内部パラメータは、微調整攻撃を受けた場合のセキュリティ劣化に対して脆弱である。 我々の研究は、パラメータレベルでのLLMの整列化におけるセキュリティのメカニズムを明らかにし、モデルの中央に小さな連続した層を識別する。 そこで本稿では, 安全部分調整(SPPFT)方式を提案する。
  論文  参考訳（メタデータ） (2024-08-30T04:35:59Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  本研究では,Large Language Models (LLMs) の安全性チューニングにおける重要なギャップについて考察する。 我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を与える新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは、(1)安全応答の開始に有害な応答のセグメントを付加することにより、安全でないコンテンツを認識・回避するようモデルに訓練する、(1)有害応答前フィックスによる最大限の類似度推定、(2)有害応答の開始を通して潜在的害から安全拒絶へ継続的に移行する能力を持つ強化遷移最適化(RTO)という2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• Navigating the Safety Landscape: Measuring Risks in Finetuning Large Language Models [65.06446825020578]
  大規模言語モデル(LLM)が人間の嗜好に合わせて行動し、推論中に有害な行動を防ぐためには、安全性の調整が不可欠である。 我々は, LLMの安全景観をナビゲートすることで, LLMの微調整のリスクを測定することを目的としている。
  論文  参考訳（メタデータ） (2024-05-27T17:31:56Z)
• Towards Comprehensive Post Safety Alignment of Large Language Models via Safety Patching [74.62818936088065]
  textscSafePatchingは包括的なPSAのための新しいフレームワークである。 textscSafePatchingはベースラインメソッドよりも包括的なPSAを実現する。 textscSafePatchingは、連続的なPSAシナリオにおいて、その優位性を示している。
  論文  参考訳（メタデータ） (2024-05-22T16:51:07Z)
• A safety realignment framework via subspace-oriented model fusion for large language models [22.588716190505963]
  サブスペース指向モデル融合(SOMF)による安全性向上フレームワークを提案する。 我々のアプローチは、各微調整されたモデルの重みから全てのタスクベクトルを遠ざけることから始まる。 次に,これらのベクトル内の安全関連領域をサブスペースマスキング手法により同定する。
  論文  参考訳（メタデータ） (2024-05-15T03:04:05Z)
• Mitigating Fine-tuning based Jailbreak Attack with Backdoor Enhanced Safety Alignment [56.2017039028998]
  言語モデル・アズ・ア・サービス(LM)のファインチューニングは、特にファインチューニングベースのジェイルブレイク攻撃(FJAttack)に対する新たな脅威をもたらす 本稿では,バックドア攻撃の概念と類似性から着想を得たバックドア強化安全アライメント手法を提案する。 我々の総合的な実験は、バックドア強化安全アライメント(Backdoor Enhanced Safety Alignment)を通じて、悪質に微調整されたLSMは、良質な性能を損なうことなく、オリジナルのアライメントモデルと同じような安全性性能を達成することを実証している。
  論文  参考訳（メタデータ） (2024-02-22T21:05:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。