論文の概要: RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs
- arxiv url: http://arxiv.org/abs/2605.01913v1
- Date: Sun, 03 May 2026 14:48:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:49.992582
- Title: RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs
- Title（参考訳）: RefusalGuard: LLMの安全のための幾何保存ファインチューニング
- Authors: Sadia Asif, Mohammad Mohammadi Amiri,
- Abstract要約: 下流タスクのための微調整型セーフティアライメント言語モデルは、拒否動作を著しく低下させる可能性がある。
本稿では,モデル適応時の安全関連構造を保存する表現レベルの微調整フレームワークREFUSALGUARDを紹介する。
- 参考スコア（独自算出の注目度）: 5.100622189286672
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning safety-aligned language models for downstream tasks often leads to substantial degradation of refusal behavior, making models vulnerable to adversarial misuse. While prior work has shown that safety-relevant features are encoded in structured representations within the model's activation space, how these representations change during fine-tuning and why alignment degrades remains poorly understood. In this work, we investigate the representation-level mechanisms underlying alignment degradation. Our analysis shows that standard fine-tuning induces systematic drift in safety-relevant representations, distorts their geometric structure, and introduces interference between task optimization and safety features. These effects collectively lead to increased harmful compliance. Motivated by these findings, we introduce REFUSALGUARD, a representation-level fine-tuning framework that preserves safety-relevant structure during model adaptation. Our approach constrains updates in hidden representation space, ensuring that safety-mediating components remain stable while allowing task-specific learning in complementary directions. We evaluate REFUSALGUARD across multiple model families, including LLaMA, Gemma, and Qwen, on adversarial safety benchmarks such as AdvBench, DirectHarm4, and JailbreakBench, as well as downstream utility tasks. Our approach achieves attack success rates comparable to base safety-aligned models while maintaining competitive task performance, significantly outperforming baselines.
- Abstract（参考訳）: 下流タスクのための微調整された安全整合言語モデルは、しばしば拒否行動の大幅な低下を招き、敵の誤用に弱いモデルとなる。
先行研究では、モデルのアクティベーション空間内の構造的表現に安全関連機能がエンコードされていることが示されているが、これらの表現が微調整中にどのように変化するか、そしてなぜアライメントの劣化が不十分なのかは未解明のままである。
本研究では,アライメント分解の基礎となる表現レベル機構について検討する。
分析の結果,標準微調整は安全関連表現の体系的ドリフトを誘導し,幾何学的構造を歪め,作業最適化と安全特徴の干渉をもたらすことがわかった。
これらの影響は総じて有害なコンプライアンスを増大させる。
これらの知見に触発されたREFUSALGUARDは,モデル適応時の安全関連構造を保存する表現レベルの微調整フレームワークである。
我々のアプローチは、隠れ表現空間における更新を制限し、タスク固有の学習を相補的な方向に許容しながら、安全メディアコンポーネントが安定し続けることを保証します。
我々は、LLaMA、Gemma、Qwenを含む複数のモデルファミリにわたるREFUSALGUARDを、AdvBench、DirectHarm4、JailbreakBenchといった敵の安全ベンチマーク、および下流ユーティリティタスクで評価する。
提案手法は,基本安全性に適合したモデルに匹敵する攻撃成功率を達成しつつ,競争力のあるタスク性能を維持しつつ,ベースラインを著しく上回っている。
関連論文リスト
- Diagnosing and Repairing Unsafe Channels in Vision-Language Models via Causal Discovery and Dual-Modal Safety Subspace Projection [21.411964269762432]
本稿では,LVLM(Large Vision-Language Models)における安全でないチャネルの診断と修復のための包括的フレームワークを提案する。
まず、安全でない行動に因果的に責任を負うニューロンや層を特定するために、因果媒介分析を行う。
本稿では、視覚的・テキスト的両モードの汎用安全部分空間を学習するデュアルモーダル・セーフティ・サブスペース・プロジェクション法を提案する。
論文 参考訳（メタデータ） (2026-03-28T11:31:16Z) - HomeGuard: VLM-based Embodied Safeguard for Identifying Contextual Risk in Household Task [42.665798473119516]
CG-CoT(Context-Guided Chain-of-Thought)を特徴とするアーキテクチャ非依存型セーフガードを提案する。
CG-CoTは、リスクアセスメントをアクティブな知覚に分解し、相互作用対象や関連する空間近傍への注意を順次固定する。
実験により、我々のモデルであるHomeGuardは安全性を大幅に向上し、ベースモデルと比較してリスクマッチ率を30%以上改善することが示された。
論文 参考訳（メタデータ） (2026-03-15T13:09:43Z) - Enhancing Safety of Large Language Models via Embedding Space Separation [24.821172423424866]
大きな言語モデル(LLM)は印象的な機能を達成したが、有害なプロンプトに対する安全性を保証することは、依然として重要な課題である。
最近の研究によると、LLMにおける有害で安全なクエリの潜伏表現(埋め込み)は、通常線形分離性を示す。
この観測により,埋め込み空間分離(ES2)という表現レベルの微調整手法を提案する。
論文 参考訳（メタデータ） (2026-03-01T07:22:38Z) - Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models [62.16655896700062]
活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である
重要かつ過度に調査された安全リスクを無意識に導入することを示します。
実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
論文 参考訳（メタデータ） (2026-02-03T12:32:35Z) - SafeR-CLIP: Mitigating NSFW Content in Vision-Language Models While Preserving Pre-Trained Knowledge [51.634837361795434]
SaFeR-CLIPは安全性と性能を調整し、以前の方法に比べて最大8.0%のゼロショット精度を回復する。
NSFW-Capsは、分散シフト下での安全性をテストするために、1000の高度に整合したペアの新しいベンチマークである。
論文 参考訳（メタデータ） (2025-11-20T19:00:15Z) - UpSafe$^\circ$C: Upcycling for Controllable Safety in Large Language Models [67.91151588917396]
大規模言語モデル(LLM)は、幅広いタスクで顕著な進歩を遂げているが、有害なコンテンツ生成やジェイルブレイク攻撃といった安全リスクに弱いままである。
安全に配慮したリサイクルによるLCMの安全性向上のための統合フレームワークであるUpSafe$circ$Cを提案する。
この結果から, 静的アライメントから動的, モジュール, 推論対応制御への移行という, LLMの安全性の新たな方向性が明らかになった。
論文 参考訳（メタデータ） (2025-10-02T16:43:33Z) - Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。
安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。
複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
論文 参考訳（メタデータ） (2025-08-17T23:46:36Z) - Probing the Robustness of Large Language Models Safety to Latent Perturbations [30.16804362984161]
安全アライメントは、信頼できる人工知能を構築する上で重要な要件である。
我々は、小さな潜伏シフトが、整列モデルにおける安全でない応答を引き起こすことを観察する。
学習中に隠された表現に制御された摂動を注入する微調整戦略であるLayer-wise Adversarial Patch Training (LAPT)を導入する。
論文 参考訳（メタデータ） (2025-06-19T07:03:05Z) - Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。
動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。
STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
論文 参考訳（メタデータ） (2025-05-22T18:05:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。