論文の概要: Aligned but Fragile: Enhancing LLM Safety Robustness via Zeroth-Order Optimization
- arxiv url: http://arxiv.org/abs/2605.29396v1
- Date: Thu, 28 May 2026 05:46:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:55.765921
- Title: Aligned but Fragile: Enhancing LLM Safety Robustness via Zeroth-Order Optimization
- Title（参考訳）: 配向されたフレージャ:ゼロ階最適化によるLLM安全性のロバスト性向上
- Abstract要約: 大規模言語モデルの安全性アライメントは、汎用性を維持しながら有害または不安全な振る舞いを減らすことを目的としている。
最近の知見は、アライメント効果が脆弱であることを示しており、軽量なアライメント後操作は、意図した安全性の振る舞いを容易に弱めることができる。
本稿では、まず標準の1次安全アライメントを行い、その後、ロバスト性向上のために0階改良を適用したハイブリッドフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 18.414223070961782
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safety alignment for large language models (LLMs) aims to reduce harmful or unsafe behavior while preserving general utility. However, recent findings reveal that alignment effects can be fragile: lightweight post-alignment manipulations, such as parameter noise, activation noise, or quantization, can easily weaken the intended safety behavior. Prior efforts to improve robustness have primarily focused on data curation, modified alignment objectives, and safety-critical parameter identification, leaving the role of the optimizer itself largely unexplored. In this paper, we are the first to study the robustness of safety alignment from the perspective of the base optimizer. This optimizer-centric view naturally points to zeroth-order optimization, which provides a robustness-oriented signal by evaluating safety alignment under perturbations. Based on this insight, we propose a hybrid framework that first performs standard first-order safety alignment and then applies zeroth-order refinement to improve robustness. Both theoretically and empirically, we show that only a few zeroth-order refinement steps can enhance robustness while preserving safety alignment. We further improve the efficiency of zeroth-order refinement by exploiting its inherent perturbation-based evaluations to estimate layer-wise robustness sensitivity, enabling the refinement process to concentrate updates on robustness-critical layers with modest training overhead.
- Abstract（参考訳）: 大規模言語モデル(LLM)の安全性アライメントは、汎用性を維持しながら有害または不安全な振る舞いを減らすことを目的としている。
パラメータノイズ、アクティベーションノイズ、量子化などの軽量なアライメント後操作は、意図した安全行動を容易に弱めることができる。
堅牢性を改善するための以前の取り組みは、主にデータキュレーション、修正されたアライメントの目的、安全クリティカルパラメータの識別に焦点を合わせており、オプティマイザの役割は未調査のままである。
本稿では,ベースオプティマイザの観点から,安全アライメントのロバスト性について検討する。
このオプティマイザ中心のビューは自然にゼロ階最適化を指しており、摂動下での安全アライメントを評価することでロバストネス指向の信号を提供する。
この知見に基づいて、まず標準の1次安全アライメントを実行し、その後、ロバスト性を改善するためにゼロ階改良を適用したハイブリッドフレームワークを提案する。
理論的にも経験的にも、安全アライメントを保ちながら堅牢性を高めることができるのは、わずかにゼロオーダーの洗練段階のみであることを示す。
さらに, その固有摂動に基づく評価を利用して, 層単位の強靭性感度を推定することにより, 改良プロセスは, 微妙なトレーニングオーバーヘッドを伴うロバストネスクリティカルな層への更新に集中することが可能となる。
関連論文リスト
- Guardrails in Logit Space: Safety Token Regularization for LLM Alignment [9.180430520680611]
新しいドメイン上の細調整のよく整合した大きな言語モデル(LLM)は、安全アライメントを低下させることが多い。
既存の安全アライメント技術は主に事前訓練に焦点を当てており、微調整されたモデルは行動シフトに弱いままである。
我々は、微調整時に安全性を維持するための軽量な方法である安全トークン規則化(STR)を導入する。
論文 参考訳（メタデータ） (2026-04-19T02:41:04Z) - Objective Matters: Fine-Tuning Objectives Shape Safety, Robustness, and Persona Drift [0.0]
我々は,6つの微調整目標 – Supervised Fine-Tuning, Direct Preference Optimization, Conditional Fine-Tuning, Inoculation Prompting, Odds Ratio Preference Optimization, KL-regularized Fine-Tuning – を比較した。
客観的な選択は、安全能力のフロンティアに沿って、体系的でスケール依存的なシフトを引き起こす。
論文 参考訳（メタデータ） (2026-01-19T01:04:43Z) - SafeR-CLIP: Mitigating NSFW Content in Vision-Language Models While Preserving Pre-Trained Knowledge [51.634837361795434]
SaFeR-CLIPは安全性と性能を調整し、以前の方法に比べて最大8.0%のゼロショット精度を回復する。
NSFW-Capsは、分散シフト下での安全性をテストするために、1000の高度に整合したペアの新しいベンチマークである。
論文 参考訳（メタデータ） (2025-11-20T19:00:15Z) - UpSafe$^\circ$C: Upcycling for Controllable Safety in Large Language Models [67.91151588917396]
大規模言語モデル(LLM)は、幅広いタスクで顕著な進歩を遂げているが、有害なコンテンツ生成やジェイルブレイク攻撃といった安全リスクに弱いままである。
安全に配慮したリサイクルによるLCMの安全性向上のための統合フレームワークであるUpSafe$circ$Cを提案する。
この結果から, 静的アライメントから動的, モジュール, 推論対応制御への移行という, LLMの安全性の新たな方向性が明らかになった。
論文 参考訳（メタデータ） (2025-10-02T16:43:33Z) - Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。
安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。
複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
論文 参考訳（メタデータ） (2025-08-17T23:46:36Z) - Probing the Robustness of Large Language Models Safety to Latent Perturbations [30.16804362984161]
安全アライメントは、信頼できる人工知能を構築する上で重要な要件である。
我々は、小さな潜伏シフトが、整列モデルにおける安全でない応答を引き起こすことを観察する。
学習中に隠された表現に制御された摂動を注入する微調整戦略であるLayer-wise Adversarial Patch Training (LAPT)を導入する。
論文 参考訳（メタデータ） (2025-06-19T07:03:05Z) - LookAhead Tuning: Safer Language Models via Partial Answer Previews [62.529794567687354]
ファインチューニングにより、大きな言語モデルは特定のドメインに適応できるが、しばしば以前に確立された安全アライメントを損なう。
LookAhead Tuningは、微調整時の安全性を維持する軽量で効果的なデータ駆動型アプローチである。
論文 参考訳（メタデータ） (2025-03-24T18:11:42Z) - Iterative Reachability Estimation for Safe Reinforcement Learning [23.942701020636882]
安全制約付き強化学習(RL)環境のための新しいフレームワークRESPO(Reachability Estimation for Safe Policy Optimization)を提案する。
違反のないポリシーが存在する現実的な環境では、永続的な安全を維持しながら報酬を最適化します。
安全ガイム, PyBullet, および MuJoCo を用いた安全RL環境の多種多様な構成について, 提案手法の評価を行った。
論文 参考訳（メタデータ） (2023-09-24T02:36:42Z) - Meta-Learning Priors for Safe Bayesian Optimization [72.8349503901712]
メタ学習アルゴリズムであるF-PACOHを構築し,データ不足の設定において確実な定量化を実現する。
コアコントリビューションとして、安全に適合した事前をデータ駆動で選択するための新しいフレームワークを開発する。
ベンチマーク関数と高精度動作系において,我々のメタ学習先行が安全なBOアプローチの収束を加速することを示す。
論文 参考訳（メタデータ） (2022-10-03T08:38:38Z) - Log Barriers for Safe Black-box Optimization with Application to Safe
Reinforcement Learning [72.97229770329214]
本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。
LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。
安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-07-21T11:14:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。