Fugu-MT 論文翻訳(概要): Gradient Surgery for Safe LLM Fine-Tuning

論文の概要: Gradient Surgery for Safe LLM Fine-Tuning

arxiv url: http://arxiv.org/abs/2508.07172v1
Date: Sun, 10 Aug 2025 04:13:41 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-12 21:23:28.736952
Title: Gradient Surgery for Safe LLM Fine-Tuning
Title（参考訳）: LLMファインチューニングのためのグラディエント手術
Authors: Biao Yi, Jiahao Li, Baolei Zhang, Lihai Nie, Tong Li, Tiansheng Huang, Zheli Liu,
Abstract要約: ファインチューニング・アズ・ア・サービス(Funture-tuning-as-a-Service)は、ユーザのファインチューニングデータセットにいくつかの悪意のあるサンプルを混在させて、Large Language Models(LLM)の安全性アライメントを損なう重大な脆弱性を導入する。既存のソリューションは有害比に非常に敏感であり、防御は有害比が増加するにつれて著しく低下する。そこで本研究では,勾配手術を応用したSafeGradを提案する。
参考スコア（独自算出の注目度）: 16.652518818576425
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Fine-tuning-as-a-Service introduces a critical vulnerability where a few malicious examples mixed into the user's fine-tuning dataset can compromise the safety alignment of Large Language Models (LLMs). While a recognized paradigm frames safe fine-tuning as a multi-objective optimization problem balancing user task performance with safety alignment, we find existing solutions are critically sensitive to the harmful ratio, with defenses degrading sharply as harmful ratio increases. We diagnose that this failure stems from conflicting gradients, where the user-task update directly undermines the safety objective. To resolve this, we propose SafeGrad, a novel method that employs gradient surgery. When a conflict is detected, SafeGrad nullifies the harmful component of the user-task gradient by projecting it onto the orthogonal plane of the alignment gradient, allowing the model to learn the user's task without sacrificing safety. To further enhance robustness and data efficiency, we employ a KL-divergence alignment loss that learns the rich, distributional safety profile of the well-aligned foundation model. Extensive experiments show that SafeGrad provides state-of-the-art defense across various LLMs and datasets, maintaining robust safety even at high harmful ratios without compromising task fidelity.
Abstract（参考訳）: ファインチューニング・アズ・ア・サービス(Funture-tuning-as-a-Service)は、ユーザのファインチューニングデータセットにいくつかの悪意のあるサンプルを混在させて、Large Language Models(LLMs)の安全性アライメントを損なう、重大な脆弱性を導入する。認識されたパラダイムフレームは、ユーザタスク性能と安全アライメントのバランスをとる多目的最適化問題として安全な微調整を行うが、既存のソリューションは有害比に非常に敏感であり、防御力は有害比が増加するにつれて急激に低下する。この障害は、ユーザタスク更新が直接安全目標を損なうような、矛盾する勾配に起因すると診断する。そこで本研究では,勾配手術を応用したSafeGradを提案する。競合が検出されると、SafeGradはアライメント勾配の直交平面に投影することで、ユーザタスクの有害なコンポーネントを無効にし、モデルの安全性を犠牲にすることなく、ユーザのタスクを学習する。強靭性とデータ効率をさらに高めるため、我々は、よく整合した基礎モデルのリッチで分散的な安全プロファイルを学習するKL分割アライメント損失を用いる。大規模な実験により、SafeGradは様々なLSMやデータセットをまたがって最先端の防御を提供し、タスクの忠実性を損なうことなく、高い有害比でも堅牢な安全性を維持していることがわかった。

関連論文リスト

Shape it Up! Restoring LLM Safety during Finetuning [66.46166656543761]
大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
論文参考訳（メタデータ） (2025-05-22T18:05:16Z)
Mitigating Fine-tuning Risks in LLMs via Safety-Aware Probing Optimization [7.1060720569792215]
微調整された大きな言語モデル(LLM)は、必然的に安全性を損なう可能性がある。安全リスクの軽減を目的とした安全意識探索(SAP)フレームワークを導入する。実験の結果,SAPは従来の微調整モデルよりも有害性を効果的に低減できることがわかった。
論文参考訳（メタデータ） (2025-05-22T14:52:10Z)
Safe Delta: Consistently Preserving Safety when Fine-Tuning LLMs on Diverse Datasets [49.412887135146725]
大規模言語モデル(LLM)の安全性を考慮したポストトレーニング防衛手法であるSafe Deltaを提案する。当社のアプローチは、良質なデータセットからのユーティリティゲインが影響を受けないことを保証しながら、安全を継続的に維持します。
論文参考訳（メタデータ） (2025-05-17T15:01:07Z)
Vulnerability Mitigation for Safety-Aligned Language Models via Debiasing [12.986006070964772]
安全性アライメントは、現実世界のAIアプリケーションにとって重要な研究トピックである。本研究はまず,モデルの有用性を犠牲にすることなく,このような脆弱性を除去することの難しさを明らかにした。本手法は,安全性を維持しつつモデルの有用性を高め,トレードオフを改善できる。
論文参考訳（メタデータ） (2025-02-04T09:31:54Z)
Enhancing AI Safety Through the Fusion of Low Rank Adapters [7.384556630042846]
低ランク適応核融合は、悪意のあるプロンプトに直面した場合に有害な応答を緩和する。タスクアダプタと安全アダプタとのLoRA融合を利用して, 有害度率を42%低減した。また、モデルが安全でないものに近い安全なプロンプトを拒否する、誇張された安全行動も観察する。
論文参考訳（メタデータ） (2024-12-30T13:12:27Z)
What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。これを用いて,3つのよく知られた安全微調整手法について検討する。
論文参考訳（メタデータ） (2024-07-14T16:12:57Z)
Safe Reinforcement Learning with Learned Non-Markovian Safety Constraints [15.904640266226023]
我々は、安全に関する部分的状態行動軌跡の貢献を評価するために、信用割当を行う安全モデルの設計を行う。学習された安全モデルを用いて安全なポリシーを最適化する有効なアルゴリズムを導出する。安全報酬と安全コンプライアンスのトレードオフ係数を動的に適用する手法を考案する。
論文参考訳（メタデータ） (2024-05-05T17:27:22Z)
Mitigating Fine-tuning based Jailbreak Attack with Backdoor Enhanced Safety Alignment [56.2017039028998]
言語モデル・アズ・ア・サービス(LM)のファインチューニングは、特にファインチューニングベースのジェイルブレイク攻撃(FJAttack)に対する新たな脅威をもたらす本稿では,バックドア攻撃の概念と類似性から着想を得たバックドア強化安全アライメント手法を提案する。我々の総合的な実験は、バックドア強化安全アライメント(Backdoor Enhanced Safety Alignment)を通じて、悪質に微調整されたLSMは、良質な性能を損なうことなく、オリジナルのアライメントモデルと同じような安全性性能を達成することを実証している。
論文参考訳（メタデータ） (2024-02-22T21:05:18Z)
Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
論文参考訳（メタデータ） (2022-07-21T11:14:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。