論文の概要: Safety Cost of Steering Vectors Is Separable and Reducible
- arxiv url: http://arxiv.org/abs/2608.08383v1
- Date: Sun, 09 Aug 2026 00:29:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.798775
- Title: Safety Cost of Steering Vectors Is Separable and Reducible
- Title(参考訳): ステアリングベクトルの安全コストは分離可能で低減可能
- Abstract要約: ステアリングベクターは、意図せずにモデルの安全メカニズムを妥協し、有害な要求に対するコンプライアンスを高めることができる。
この安全劣化は, モデルの安全機構を乱すベクトルの分離可能な成分から生じるが, 操舵目標にはほとんど寄与しないことを示す。
本手法は, 操舵時の安全劣化を著しく低減し, 元の操舵効果を抑えながら, 誤操作を最小限に抑える。
- 参考スコア(独自算出の注目度): 15.133262969401004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Steering vectors are a lightweight tool for controlling LLM behavior. However, emerging evidence shows that steering vectors can unintentionally compromise a model's safety mechanisms and increase compliance with harmful requests, while no effective mitigation yet exists. In this work, we show that this safety degradation arises from a separable component in the vector that disrupts the model's safety mechanisms but contributes little to the steering objective. We identify and remove this safety-degrading component, formulating the task as a constrained optimization problem solved through primal-dual updates, subject to preserving the intended steering effect and bounding false refusal. The resulting solution is both interpretable and surgical: the optimization recovers a single direction whose ablation from the steering vector restores model safety with minimal utility cost. Across models, steering behaviors, and attack suites, including unseen attacks types, our method substantially reduces steering-induced safety degradation while preserving the original steering effect with minimal impact on false refusal. Our method offers a post-hoc correction to steering vectors that mitigates their safety cost, and more broadly, it provides a general recipe for applying activation-level model interventions without paying a safety tax.
- Abstract(参考訳): ステアリングベクトルはLCMの挙動を制御するための軽量なツールである。
しかし、新たな証拠は、ステアリングベクターが意図せずモデルの安全メカニズムを侵害し、有害な要求に対するコンプライアンスを高めることができることを示している。
本研究では, この安全劣化は, モデルの安全機構を阻害するベクトルの分離可能な成分から生じるが, 操舵目標にはほとんど寄与しないことを示す。
我々は,この安全劣化成分を同定・除去し,本課題を原始二重更新によって解決した制約付き最適化問題として定式化し,意図した操舵効果を保ち,虚偽の拒絶を回避した。
最適化は、操舵ベクトルからのアブレーションがモデル安全性を最小限の実用コストで復元する単一の方向を復元する。
モデル, ステアリング行動, 攻撃スイート, 目に見えない攻撃タイプを含む, 本手法は, 元のステアリング効果を最小限に抑えつつも, ステアリングによる安全劣化を著しく低減する。
本手法は, 安全コストを軽減したステアリングベクターにポストホック補正を行い, より広範に, 安全税を払わずにアクティベーションレベルのモデル介入を適用するための一般的なレシピを提供する。
関連論文リスト
- OPIUM: Mitigating Steering Externalities and Over-Refusal via Dual Objective Latent Optimization [5.915252597405961]
アクティベーションステアリングは、推論時に大きな言語モデルを制御するための軽量なメカニズムを提供する。
本稿では,表現マッチングによるステアリングベクトルの衛生化のためのトレーニング不要な方法であるOPiumを紹介する。
論文 参考訳(メタデータ) (2026-07-22T06:39:03Z) - Do Models Share Safety Representations? Cross-Model Steering for Safe Visual Generation [52.122731171289665]
クロスモデル安全ステアリングのための最初のフレームワークを紹介する。
私たちのパイプラインは、ターゲット側の安全でないデータにアクセスしません。
多様なソース・ターゲット・モデル・ペア間のテキスト・ツー・イメージとテキスト・ツー・ビデオ生成におけるアプローチを評価する。
論文 参考訳(メタデータ) (2026-06-03T18:00:04Z) - Analysing the Safety Pitfalls of Steering Vectors [19.424564915366847]
アクティベーションステアリングは、重量更新を必要とせずにLCMの動作を形作る強力なツールとして登場した。
本稿では,Contrastive Activation Addition (CAA) を用いて得られたステアリングベクトルの系統的安全監査について述べる。
単純なテンプレートベースの攻撃では, ステアリングベクターがジェイルブレイク攻撃の成功率に一貫した影響を与え, 増幅が強くなることを示す。
論文 参考訳(メタデータ) (2026-03-25T17:16:11Z) - Principled Steering via Null-space Projection for Jailbreak Defense in Vision-Language Models [71.11171576590134]
視覚言語モデルは視覚的ジェイルブレイク攻撃によって容易に誘導され、有害なコンテンツを生成する。
本稿では,NullSteerを提案する。
我々はNullSteerが様々なジェイルブレイク攻撃において有害な出力を著しく減少させることを示す。
論文 参考訳(メタデータ) (2026-03-23T15:23:23Z) - Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models [62.16655896700062]
活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である
重要かつ過度に調査された安全リスクを無意識に導入することを示します。
実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
論文 参考訳(メタデータ) (2026-02-03T12:32:35Z) - Self-Guard: Defending Large Reasoning Models via enhanced self-reflection [54.775612141528164]
Self-Guardは、大規模推論モデルのための軽量な安全防御フレームワークである。
これは認識とコンプライアンスのギャップを埋め、モデルユーティリティを損なうことなく堅牢な安全性能を達成する。
セルフガードは、さまざまな未知のリスクとさまざまなモデルスケールにまたがる強力な一般化を示す。
論文 参考訳(メタデータ) (2026-01-31T13:06:11Z) - Turning the Spell Around: Lightweight Alignment Amplification via Rank-One Safety Injection [47.347413305965006]
大規模言語モデル(LLM)における安全性の整合性は、しばしば有害な要求を拒否するために内部表現を仲介する。
近年の研究では、これらの安全メカニズムは特定の表現方向を非難したり削除したりすることで回避可能であることが示されている。
そこで本研究では,リファレンシャル・メディア・サブスペースへのアクティベーションを永久に操り,モデルの安全アライメントを向上する手法であるランクワン・セーフティ・インジェクション(ROSI)を提案する。
論文 参考訳(メタデータ) (2025-08-28T13:22:33Z) - SafeSteer: Interpretable Safety Steering with Refusal-Evasion in LLMs [7.120986296945107]
本稿では,大規模言語モデル(LLM)の出力を誘導するSafeSteerという手法について検討する。
テキストの品質,トピックの関連性,明示的な拒絶を保ちながら,安全ステアリングを高めるために,簡単な,勾配のない教師なしの手法を用いている。
論文 参考訳(メタデータ) (2025-06-01T01:19:37Z) - SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。
近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。
過大な安全性の懸念を和らげるために,SCANS法を提案する。
論文 参考訳(メタデータ) (2024-08-21T10:01:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。