Fugu-MT 論文翻訳(概要): Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection

論文の概要: Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection

arxiv url: http://arxiv.org/abs/2602.07892v1
Date: Sun, 08 Feb 2026 09:53:46 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-10 20:26:24.855951
Title: Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection
Title（参考訳）: 継続的学習としての安全アライメント:直交勾配投影によるアライメント税の緩和
Authors: Guanglong Sun, Siyuan Zhang, Liyuan Wang, Jun Zhu, Hang Su, Yi Zhong,
Abstract要約: 大規模言語モデル(LLM)は、しばしばアライメント税を課す。この税は、主に連続的な順序で学習スタイルを忘れることから生じると我々は主張する。我々は, 塑性と安定性のバランスをとるために, OGPSA (Orthogonal Gradient Projection for Safety Alignment) を提案する。
参考スコア（独自算出の注目度）: 52.551864761088574
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) often incur an alignment tax: safety post-training can reduce general utility (e.g., reasoning and coding). We argue that this tax primarily arises from continual-learning-style forgetting in sequential alignment, where distribution shift and conflicting objectives cause safety updates to overwrite pre-trained competencies. Accordingly, we cast safety alignment as a continual learning (CL) problem that must balance plasticity (acquiring safety constraints) and stability (preserving general abilities). We propose Orthogonal Gradient Projection for Safety Alignment (OGPSA), a lightweight method that mitigates interference by constraining each safety update to be orthogonal (in a first-order sense) to a learned subspace capturing general capabilities. Specifically, OGPSA estimates a low-rank capability subspace from gradients on a small reference set and projects the safety gradient onto its orthogonal complement before updating. This produces safety-directed updates that minimally perturb prior knowledge while retaining capacity for alignment. OGPSA is plug-and-play and integrates into standard post-training pipelines without large-scale replay, auxiliary objectives, or retraining. Across Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO), and sequential SFT$\rightarrow$DPO settings, OGPSA consistently improves the safety--utility Pareto frontier over standard baselines. For instance, on Qwen2.5-7B-Instruct under SFT$\rightarrow$DPO, OGPSA preserves strong safety while recovering general capability, improving SimpleQA from 0.53\% to 3.03\% and IFEval from 51.94\% to 63.96\%. Our source code is available at \href{https://github.com/SunGL001/OGPSA}{OGPSA}
Abstract（参考訳）: 大規模な言語モデル(LLM)は、しばしばアライメント税(アライメント税)を発生させる。我々は、この税は、配当のシフトと相反する目的が、事前訓練された能力を上書きする安全更新を引き起こす連続的な学習スタイルの忘れから主に生じると論じる。そこで我々は,安全アライメントを,可塑性(安全制約の獲得)と安定性(一般能力の維持)のバランスをとる必要がある連続学習(CL)問題として捉えた。 OGPSA(Orthogonal Gradient Projection for Safety Alignment)は、各安全更新を(一階の意味で)直交的に、一般の能力を捉えた学習部分空間に制限することで、干渉を緩和する軽量な手法である。具体的には、OGPSAは小さな参照セット上の勾配から低ランクの能力部分空間を推定し、更新する前に安全勾配を直交補数に投影する。これにより、アライメントのキャパシティを維持しながら、事前知識を最小限にゆがめる安全指向の更新が生成される。 OGPSAはプラグイン・アンド・プレイであり、大規模なリプレイ、補助的な目的、またはリトレーニングなしで標準のポストトレーニングパイプラインに統合される。 Across Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO), and sequential SFT$\rightarrow$DPO settings, OGPSAは標準ベースラインよりも安全ユーティリティのParetoフロンティアを一貫して改善している。例えば、SFT$\rightarrow$DPOの下でのQwen2.5-7B-Instructでは、OGPSAは一般的な能力を回復しながら強力な安全性を維持し、SimpleQAは0.53\%から3.03\%、IFEvalは51.94\%から63.96\%に改善している。ソースコードは \href{https://github.com/SunGL001/OGPSA}{OGPSA} で公開されている。

論文の概要: Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection

関連論文リスト