論文の概要: HyperSafe: Inference-Time Safety Recovery for Fine-Tuned Language Models
- arxiv url: http://arxiv.org/abs/2607.11475v1
- Date: Mon, 13 Jul 2026 12:28:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.464124
- Title: HyperSafe: Inference-Time Safety Recovery for Fine-Tuned Language Models
- Title（参考訳）: HyperSafe: 微調整言語モデルの推論時間安全回復
- Abstract要約: HyperSafeは、細調整されたチェックポイント毎にモデル固有のSafe Side Networkを生成することで、安全性の挙動を復元する。
モデル群であるQwen2-7BとLLaMA-3-8Bを複数の安全性ベンチマークで評価した。
- 参考スコア（独自算出の注目度）: 65.08794811632073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Safety alignment in large language models can be fragile under fine-tuning, as even benign task adaptation may increase harmful compliance. Existing defenses mainly follow two directions: they either intervene during or after fine-tuning through retraining or weight modification, which can be costly and may hurt task performance, or they use model-agnostic safety classifiers, which may miss failures specific to a given fine-tuned checkpoint. These limitations motivate a post hoc, model-specific, and non-invasive approach to safety restoration. To meet these requirements, we propose HyperSafe, a framework that restores safety behavior by generating a model-specific Safe Side Network (SSN) for each fine-tuned checkpoint. HyperSafe uses layer-wise activation fingerprints to capture how fine-tuning changes the model's inner representations. With a small set of given calibration prompts, the hypernetwork maps these fingerprints to the parameters of the \ssn{} in a single forward pass. The generated \ssn{} runs alongside the frozen fine-tuned model and performs prompt-level safety classification: harmful prompts are routed to refusal, while safe prompts are answered by the original fine-tuned model. Thus, HyperSafe requires no gradient updates, no safety data at deployment time, and no modification to the deployed model weights. We evaluate HyperSafe on two model families, Qwen2-7B and LLaMA-3-8B, across multiple safety benchmarks. HyperSafe reduces harmful response rates from 19-31% to below 1% on every held-out checkpoint, while keeping downstream task accuracy within 1% of the fine-tuned baseline on average. Code is available at https://github.com/nokronim/project-safety-remedy.
- Abstract（参考訳）: 大規模な言語モデルの安全性の整合性は、微調整の下では脆弱であり、良質なタスク適応でさえ有害なコンプライアンスを増大させる可能性がある。
既存の防御は、主に2つの方向を踏襲する: 訓練や重量修正を通じて細調整中に介入し、コストがかかり、作業性能を損なう可能性があるか、またはモデル非依存の安全分類器を使用し、与えられた細調整されたチェックポイントに特有の故障を見逃す可能性がある。
これらの制限は、ポストホック、モデル固有の、安全回復に対する非侵襲的なアプローチを動機付けている。
これらの要件を満たすために,細調整されたチェックポイント毎にモデル固有のセーフサイドネットワーク(SSN)を生成することで,安全性の挙動を復元するフレームワークであるHyperSafeを提案する。
HyperSafeはレイヤーワイドアクティベーション指紋を使用して、モデルの内部表現が微調整によってどのように変化するかをキャプチャする。
与えられたキャリブレーションプロンプトの小さなセットで、ハイパーネットワークはこれらの指紋を単一のフォワードパスの \ssn{} のパラメータにマッピングする。
生成した \ssn{} は、凍結した微調整モデルと並行して実行され、プロンプトレベルの安全分類を実行する:有害なプロンプトは、拒否するためにルーティングされ、セーフなプロンプトは元の微調整モデルによって応答される。
したがって、HyperSafeはグラデーションの更新も、デプロイ時の安全データも、デプロイされたモデルの重みの変更も不要である。
モデル群であるQwen2-7BとLLaMA-3-8Bを複数の安全性ベンチマークで評価した。
HyperSafeは、ホールトアウトチェックポイント毎に有害な応答率を19～31%から1%以下に削減すると同時に、ダウンストリームタスクの精度を平均的な微調整ベースラインの1%に維持する。
コードはhttps://github.com/nokronim/project-safety-remedyで入手できる。
関連論文リスト
- When Skills Meet Safety: Benchmarking and Characterizing the Adaptive Jailbreak Robustness of Skill-Merged LLMs [4.484096675953176]
モデルマージは、トレーニングをすることなく、整合した言語モデルに新しいスキルを与えるデフォルトの方法となっている。
ほぼすべての証拠は、静的な拒絶テストにかかっている。
SkillSafe-Benchは、静的リフレクション、適応的ジェイルブレイク堅牢性、能力維持に関するスキルマージされたモデルをスコアするベンチマークである。
論文 参考訳（メタデータ） (2026-08-09T07:41:06Z) - Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。
安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。
複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
論文 参考訳（メタデータ） (2025-08-17T23:46:36Z) - VSCBench: Bridging the Gap in Vision-Language Model Safety Calibration [44.74741064549195]
我々は、アンダーセーフとオーバーセーフの両方に体系的に対処する$textitsafety calibrationという概念を紹介した。
視覚的にもテキスト的にも似ているが安全性の点で異なる3,600枚の画像テキストペアからなる新しいデータセットを提示する。
本ベンチマークにより,広義の視覚言語モデル11種を対象に,安全性校正の評価を行った。
論文 参考訳（メタデータ） (2025-05-26T09:01:46Z) - Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。
動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。
STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
論文 参考訳（メタデータ） (2025-05-22T18:05:16Z) - SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning [76.56522719330911]
大規模推論モデル(LRM)は、応答する前に明示的に推論する新しい世代パラダイムを導入する。
LRMは有害なクエリや敵の攻撃に対して大きな安全リスクをもたらす。
キー文中の安全アハモーメントをより活性化するSafeKeyを提案する。
論文 参考訳（メタデータ） (2025-05-22T03:46:03Z) - NLSR: Neuron-Level Safety Realignment of Large Language Models Against Harmful Fine-Tuning [37.024666077902225]
ユーザによってアップロードされた悪意のあるデータのごく一部は、微調整プロセスを微妙に操作できるため、アライメントが壊れたモデルになる。
既存の微調整攻撃に対抗する方法は、典型的にはかなりの計算資源を必要とする。
textbfNeuron-textbfLevel textbfSafety textbfRealignmentを提案する。
論文 参考訳（メタデータ） (2024-12-17T02:59:04Z) - Separate the Wheat from the Chaff: A Post-Hoc Approach to Safety Re-Alignment for Fine-Tuned Language Models [30.93821289892195]
IRR (Identify, Remove, and Recalibrate for Safety Realignment) を提案する。
IRRの中核は、保持されたパラメータを再調整しながら、微調整されたモデルから安全でないデルタパラメータを特定し、除去することである。
この結果から,IRRは有害なクエリやジェイルブレイク攻撃などの安全性ベンチマークにおいて,微調整モデルの安全性を著しく向上することが示された。
論文 参考訳（メタデータ） (2024-12-15T03:58:38Z) - Locking Down the Finetuned LLMs Safety [33.56657036839617]
特定の下流タスクのために最適化するためには、追加のデータセット上での微調整大型言語モデル(LLM)が必要であることが多い。
既存の安全アライメント対策は、推論中の有害な行動を制限するものであり、微調整時の安全性リスクを軽減するには不十分である。
そこで,本研究では,手直し後の堅牢な安全性を維持する新しいアライメント介入手法であるSafetyLockを紹介する。
論文 参考訳（メタデータ） (2024-10-14T09:58:29Z) - What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。
安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。
これを用いて,3つのよく知られた安全微調整手法について検討する。
論文 参考訳（メタデータ） (2024-07-14T16:12:57Z) - Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。
DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
論文 参考訳（メタデータ） (2024-07-12T09:36:33Z) - Keeping LLMs Aligned After Fine-tuning: The Crucial Role of Prompt Templates [55.69224221154593]
一見安全なデータセットの微調整さえも、モデル内の安全でない振る舞いを引き起こす可能性がある。
セーフテスト(PTST)戦略 - 安全プロンプトのない微調整モデルを提案するが、テスト時に含める。
論文 参考訳（メタデータ） (2024-02-28T18:23:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。