論文の概要: Preserving Safety During Sequential Fine-Tuning: A Factorial and Geometric Analysis of Replay
- arxiv url: http://arxiv.org/abs/2610.38001v1
- Date: Tue, 27 Oct 2026 21:52:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.337603
- Title: Preserving Safety During Sequential Fine-Tuning: A Factorial and Geometric Analysis of Replay
- Title（参考訳）: 連続微調整時の安全維持:リプレイの要因的・幾何学的分析
- Abstract要約: 良質な微調整は、大きな言語モデルの安全性を損なう可能性がある。
それまでの作業では、有害なプロンプトの拒絶や良心的なコンプライアンスの例を再現することで、この侵食を軽減していた。
本研究では, 監視露光と蒸留の個人的寄与が, 逐次適応時の安全行動および拒絶幾何学に及ぼす影響について検討した。
- 参考スコア（独自算出の注目度）: 0.7731578113869774
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Benign fine-tuning can erode safety alignment in large language models, and sequential adaptation substantially compounds this risk. Prior work mitigates this erosion by replaying harmful-prompt refusals and benign-compliance examples, while other work instead matches base-model logits via distillation. However, the individual contributions of supervised exposure and distillation to safety behavior and refusal geometry during sequential adaptation remain unclear. We factor these two strategies apart and study their behavioral and geometric effects during sequential LoRA fine-tuning of Mistral-7B and Llama-3-8B across diverse task sequences (code generation, German-language summarization, and science question-answering). Behaviorally, supervised replay exposure yields the largest reduction in HarmBench attack success rate (ASR) on Mistral, averaging 51.1 points below base, but at a substantial over-refusal cost, averaging 53.4 points above base on OR-Bench-hard. Logit distillation, without any supervised replay loss, largely prevents safety erosion at a fraction of this cost: an average 5.4-point ASR reduction against only a 5.1-point rise in over-refusal. Llama shows the same asymmetry between the two strategies. Combining exposure and distillation moderates exposure's over-refusal while leaving downstream task scores largely unaffected. Geometrically, the two models diverge: on Mistral, distillation preserves the base refusal direction more closely than exposure does, whereas on Llama, refusal behavior after exposure largely survives ablation of the extracted refusal direction. This dissociation between models indicates that preserving the base refusal direction is not a reliable proxy for behavioral safety.
- Abstract（参考訳）: 良質な微調整は、大きな言語モデルにおける安全性の整合性を損なう可能性がある。
それまでの作業では、有害なプロンプトの拒絶や良質なコンプライアンスの例を再現することで、この浸食を緩和するが、他の作業は蒸留を通じてベースモデルロジットと一致させる。
しかし, 監視露光と蒸留の個人的寄与が, 逐次適応時の安全挙動および断熱幾何学に及ぼす影響は明らかでない。
我々はこれらの2つの戦略を分解し、様々なタスクシーケンス(コード生成、ドイツ語の要約、科学質問応答)にまたがるMistral-7BとLlama-3-8Bの連続的なLoRA微調整における挙動および幾何学的効果について検討する。
行動的には、監督されたリプレイ露光により、Mistral上でのHarmBench攻撃成功率(ASR)が最大に減少し、ベースより51.1ポイント低いが、かなりの過剰なコストでOR-Bench-hard上では平均53.4ポイント高い。
ログ蒸留は、監督された再生損失を伴わないため、このコストのごく一部で安全性の侵食を防ぎ、平均5.4ポイントのASR削減は5.1ポイントのオーバーリフレクションに留まる。
ラマは2つの戦略の間に同じ非対称性を示す。
暴露と蒸留の組み合わせは、下流のタスクスコアにほとんど影響しないまま、露出の過度な拒絶を和らげる。
幾何学的には、2つのモデルが分岐する: ミストラルでは、蒸留は露光よりもベース拒絶方向をより密に保存するが、ラマでは、露光後の拒絶挙動は抽出された拒絶方向のアブレーションをほとんど生き残る。
このモデル間の解離は、基本拒絶方向を保存することが行動安全のための信頼できるプロキシではないことを示している。
関連論文リスト
- Revisiting Over-refusal in Safety-aligned Large Language Models: A Representation and Optimization Perspective [52.656768749347776]
オーバーリフレクションは、大きな言語モデルにおける安全アライメントの副作用である。
本稿では,過度な拒絶を緩和する安全アライメントフレームワークGOALを提案する。
論文 参考訳（メタデータ） (2026-10-29T10:47:57Z) - Safety Offset Learning: When Benign Fine-Tuning Misaligns LLMs [19.94328715195481]
微調整による安全性のリスクは、トレーニングデータの有害性によって特徴づけられる。
この見解は、より基本的な要因、つまり、監督によって引き起こされる行動遷移を見逃していると論じる。
論文 参考訳（メタデータ） (2026-10-19T00:31:17Z) - Robust Ensemble Guidance for Scientific Inverse Problems [100.58137337454754]
Robust Ensemble Guidance (REG) は、アンサンブル予測拡散を用いて観測スケールのバランスを保ち、極端に不一致な影響を制限するために標準化された残差を適応的にクリップする。
REGは3つの観測系で6.2-8.2dBのブラックホール再構成PSNRを増加させ、一致した予算比較でNavier-Stokes再構成誤差を26.4%削減する。
論文 参考訳（メタデータ） (2026-10-04T16:54:37Z) - Cross-Session Decomposition Attacks: Scaling Risk and Intent-Aligned Retrieval Defense [49.05879299987137]
言語モデリングの損失の低減は、より有用なモデルを生み出します。
本研究は,このメカニズムの安全性について,独立した相互作用を通じて,良質なサブクエリが要求され,後に禁忌の対象へと再帰される,エンフクロス・セッション分解攻撃(enmphcross-session decomposition attack)における研究である。
我々は、この設定をEmphcompositional safety riskとして定式化し、条件付きリスク-転送境界を証明する。
論文 参考訳（メタデータ） (2026-08-28T05:39:29Z) - Detecting Safety Training Modification in Language Models via Activation Analysis [0.0]
本稿では,アクティベーション空間における安全関連概念の幾何学的構造を測定することで,言語モデルにおける安全訓練の修正を検出するツールであるAMSを紹介する。
4つのアーキテクチャファミリにまたがる14のモデル構成のAMSを検証する。
メカニスティック分析は、アクティベーション空間のシグネチャによって区別される安全訓練の修正の4つのクラス分類を識別する。
論文 参考訳（メタデータ） (2026-08-06T03:57:38Z) - Filtering Harmful Actions Isn't Enough: Phantom Transfer in Agentic SDF [0.0]
本研究では, 対向相互作用を含む合成剤軌道に対するトレーニングの効果について検討した。
これらの軌道の微調整は、常に不整合挙動を増大させる。
以上の結果から, エージェント・トレーニングデータの安全性を確保するためには, アクション・レベル・フィルタリングが不十分であることが示唆された。
論文 参考訳（メタデータ） (2026-07-12T13:00:41Z) - From Refusal Geometry to Safety Geometry: Harmfulness--Refusal Coupling under Dynamic Adversarial Fine-Tuning [14.6508023458559]
既存の評価では、モデルが有害性を認識することを学んだかどうかを明らかにしていない。
本研究では, 有害性担体, 拒絶性担体, 結合性を測定する二重安全幾何プロトコルを用いて検討する。
論文 参考訳（メタデータ） (2026-06-15T07:50:00Z) - On the Structural Non-Preservation of Epistemic Behaviour under Policy Transformation [51.56484100374058]
このような情報条件の相互作用パターンを振る舞い依存として定式化する。
これにより、$$-behavioural equivalenceというプローブ相対的な概念と、政治内行動距離が導かれる。
その結果、共通政策変換の下でプローブ条件の挙動分離が保存されない構造条件が明らかになった。
論文 参考訳（メタデータ） (2026-02-24T22:55:21Z) - BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。
両課題に対処する統合フレームワークであるBadCLIP++を提案する。
ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。
持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
論文 参考訳（メタデータ） (2026-02-19T08:31:16Z) - BURN: Backdoor Unlearning via Adversarial Boundary Analysis [73.14147934175604]
Backdoor Unlearningは、モデル本来の機能を保持しながら、バックドア関連の情報を削除することを目的としている。
本稿では, 偽相関疎結合, プログレッシブデータリファインメント, モデル浄化を統合した新しい防御フレームワーク, BURNによるバックドア・アンラーニングを提案する。
論文 参考訳（メタデータ） (2025-07-14T17:13:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。