論文の概要: Safety Offset Learning: When Benign Fine-Tuning Misaligns LLMs

• arxiv url: http://arxiv.org/abs/2610.25611v1
• Date: Mon, 19 Oct 2026 00:31:17 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:14:01.65905
• Title: Safety Offset Learning: When Benign Fine-Tuning Misaligns LLMs
• Title（参考訳）: 安全オフセット学習: 微調整ミスによるLLMの修正
• Abstract要約: 微調整による安全性のリスクは、トレーニングデータの有害性によって特徴づけられる。 この見解は、より基本的な要因、つまり、監督によって引き起こされる行動遷移を見逃していると論じる。
• 参考スコア（独自算出の注目度）: 19.94328715195481
• License:
• Abstract: Safety risks from fine-tuning are commonly characterized by the harmfulness of the training data:harmful fine-tuning is considered dangerous, while benign fine-tuning is often assumed to preservealignment. We argue that this view misses a more fundamental factor-the behavioral transition inducedby supervision. Harmful fine-tuning and safety-degrading benign fine-tuning can both be understoodas learning the same refusal-to-compliance transition, but on different data distributions. We studywhether such a transition learned on benign inputs can generalize to harmful requests. We constructbenign examples that an aligned model initially tends to refuse and pair them with their originalharmless responses, creating a discrepancy between the model's initial refusal and the supervisedanswer. Fine-tuning on these examples increases harmful compliance, but only when two conditionshold together: the discrepancy is large enough, and it cannot be resolved through a narrow surface-levelshortcut. With the induced discrepancy matched, varying only whether it is localized changes harmfulcompliance by an order of magnitude; raising the discrepancy does not help while a shortcut remainsavailable, and removing the shortcut does not help while the discrepancy is small. Building on thisobservation, we introduce SAFEOFF, a dataset of benign instructions rewritten to raise the alignedmodel's refusal likelihood and paired with their original answers. Across three aligned LLMs and threesafety benchmarks, SAFEOFF substantially weakens safety alignment despite containing no explicitharmful supervision, suggesting that fine-tuning safety depends not only on what data a model sees, butalso on which behavioral boundary the supervision moves.
• Abstract（参考訳）: 細調整による安全性のリスクは、トレーニングデータの有害性によって特徴づけられる: 有害な微調整は危険とみなされ、良質な微調整は、しばしば保存されると仮定される。 この見解は、より基本的な要因、つまり、監督によって引き起こされる行動遷移を見逃していると論じる。 有害な微調整と安全性を損なう良質な微調整はどちらも、同じ拒絶とコンプライアンスの移行を学ぶことで理解することができるが、異なるデータ分布では理解できない。 良性入力で学習したそのような遷移が有害な要求に一般化できるかどうかを考察する。 我々は、アライメントモデルが最初はそれを拒否し、元のハームレス応答と組み合わせる傾向があり、モデルの最初の拒絶と教師の回答との間に相違が生じてしまうという、厳密な例を構築した。 これらの例を微調整すると、有害なコンプライアンスが増大するが、2つの条件が一致した場合に限られる。 誘導的不一致が一致した場合、局部的変化がマグニチュードによる有害な適合性にのみ変化し、ショートカットが利用可能である間は、その不一致を上昇させることは役に立たず、ショートカットの除去は、その不一致が小さい間には役に立たない。 この観測に基づいて構築されたSAFEOFFは、アライメントモデルの拒絶可能性を高めるために書き直された良性命令のデータセットであり、元の回答とペアリングされたものである。 3つのLCMと3つのセーフティベンチマークでSAFEOFFは、明示的な監視を含むにもかかわらず、安全性のアライメントを著しく低下させ、微調整の安全性は、モデルが見ているデータだけでなく、監督が動く行動境界にも依存していることを示唆している。

関連論文リスト

• Safer Content or Firmer Refusals? A Hybrid Perturbation Defense for Alignment under Harmful Fine-tuning [4.880658740430187]
  ファインチューニング・アズ・ア・サービスにより、ユーザーは安全に配慮した言語モデルを自身のデータに適用できるが、有害なファインチューニング攻撃面も生成する。 最近の2つのアライメントステージディフェンスは、モデルの異なるレベルでこの問題に対処している。 本稿では,埋め込み摂動と重みレベルの勾配減衰を組み合わせた単一アライメント法であるVacineBoosterを提案する。
  論文  参考訳（メタデータ） (2026-09-29T07:04:31Z)
• Mark, Don't Erase: Token Inoculation for Dual-Use Knowledge in LLMs [54.96236442484317]
  リスクのある知識はモデルに保持でき、特権制御トークンによって行動的に守られることを示す。 Token Inoculation という手法はバインディング・アンド・ブランチ方式を導入している。
  論文  参考訳（メタデータ） (2026-07-21T02:15:39Z)
• HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment [23.776344382492997]
  本研究は,LLMのアライメントにより,残差ストリームにおける有害性と拒絶を,プロンプト側トークン位置における分離可能な方向としてエンコードしていることを示す。 本稿では,2方向をプロンプト位置と応答位置でペアリングする微調整手法であるHARCを紹介する。
  論文  参考訳（メタデータ） (2026-07-01T07:58:16Z)
• Character as a Latent Variable in Large Language Models: A Mechanistic Account of Emergent Misalignment and Conditional Safety Failures [70.48661957773449]
  創発的ミスアライメント(英: Emergent Misalignment)とは、狭い範囲のデータに対する微調整された大きな言語モデルによって、広範囲に不整合な振る舞いが引き起こされる障害モードを指す。 複数のドメインやモデルファミリにまたがって、特定の文字レベルの配置を示すデータの微調整モデルは、誤操作よりもはるかに強く、転送可能な微調整を誘導する。
  論文  参考訳（メタデータ） (2026-01-30T15:28:42Z)
• Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
  メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。 トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。 提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
  論文  参考訳（メタデータ） (2025-10-07T15:32:59Z)
• Read the Scene, Not the Script: Outcome-Aware Safety for LLMs [22.814397376238755]
  現在のモデルでは、アクションと結果の結びつきが弱いのです。 この障害モードをコンシークエンス・ブラインドネス(Consequence-blindness)と定義する。 CS-Chain-4kで微調整されたモデルでは、セマンティックカモフラージュジェイルブレイクに対する明らかな利得を示す。
  論文  参考訳（メタデータ） (2025-10-05T18:46:49Z)
• Why LLM Safety Guardrails Collapse After Fine-tuning: A Similarity Analysis Between Alignment and Fine-tuning Datasets [64.96967819446553]
  本稿では,上流アライメントデータセットと下流微調整タスクの表現類似性のレンズによる安全ガードレールの劣化について検討する。 これらのデータセット間の高い類似性は、安全ガードレールを著しく弱め、モデルがジェイルブレイクの影響を受けやすくする。 これら2種類のデータセット間の類似性が低いと、より堅牢なモデルが得られ、有害度スコアが最大10.33%減少する。
  論文  参考訳（メタデータ） (2025-06-05T17:59:55Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。