論文の概要: Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models

• arxiv url: http://arxiv.org/abs/2602.04896v1
• Date: Tue, 03 Feb 2026 12:32:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.51745
• Title: Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models
• Title（参考訳）: ステアリングの外部性: 大きな言語モデルに対して意図しないアクティベーションステアリングがジェイルブレイクリスクを増大させる
• Authors: Chen Xiong, Zhiyuan He, Pin-Yu Chen, Ching-Yun Ko, Tsung-Yi Ho,
• Abstract要約: 活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である 重要かつ過度に調査された安全リスクを無意識に導入することを示します。 実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
• 参考スコア（独自算出の注目度）: 62.16655896700062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation steering is a practical post-training model alignment technique to enhance the utility of Large Language Models (LLMs). Prior to deploying a model as a service, developers can steer a pre-trained model toward specific behavioral objectives, such as compliance or instruction adherence, without the need for retraining. This process is as simple as adding a steering vector to the model's internal representations. However, this capability unintentionally introduces critical and under-explored safety risks. We identify a phenomenon termed Steering Externalities, where steering vectors derived from entirely benign datasets-such as those enforcing strict compliance or specific output formats like JSON-inadvertently erode safety guardrails. Experiments reveal that these interventions act as a force multiplier, creating new vulnerabilities to jailbreaks and increasing attack success rates to over 80% on standard benchmarks by bypassing the initial safety alignment. Ultimately, our results expose a critical blind spot in deployment: benign activation steering systematically erodes the "safety margin," rendering models more vulnerable to black-box attacks and proving that inference-time utility improvements must be rigorously audited for unintended safety externalities.
• Abstract（参考訳）: アクティベーションステアリング(Activation steering)は、大規模言語モデル(LLM)の実用性を高めるための実践的な訓練後のモデルアライメント技術である。 サービスとしてモデルをデプロイする前に、開発者は、コンプライアンスや命令順守といった特定の行動目標に向けて、トレーニング済みのモデルを操縦することができる。 このプロセスは、モデルの内部表現にステアリングベクトルを追加するのと同じくらい単純です。 しかし、この能力は意図せず、重要で未調査の安全リスクをもたらす。 我々は、完全に良質なデータセットから派生したステアリングベクターが厳格なコンプライアンスやJSON非依存の安全ガードレールのような特定の出力フォーマットを実行するような、ステアリング外部性と呼ばれる現象を特定します。 実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、最初の安全アライメントをバイパスすることで、標準ベンチマークで攻撃成功率を80%以上向上させる。 を体系的に侵食し、ブラックボックス攻撃に対してより脆弱なモデルをレンダリングし、意図しない安全の外部性のために推論時のユーティリティ改善を厳格に監査する必要があることを証明します。

関連論文リスト

• Self-Guard: Defending Large Reasoning Models via enhanced self-reflection [54.775612141528164]
  Self-Guardは、大規模推論モデルのための軽量な安全防御フレームワークである。 これは認識とコンプライアンスのギャップを埋め、モデルユーティリティを損なうことなく堅牢な安全性能を達成する。 セルフガードは、さまざまな未知のリスクとさまざまなモデルスケールにまたがる強力な一般化を示す。
  論文  参考訳（メタデータ） (2026-01-31T13:06:11Z)
• SafeThinker: Reasoning about Risk to Deepen Safety Beyond Shallow Alignment [43.86865924673546]
  軽量なゲートウェイ分類器を介して防御資源を割り当てる適応型フレームワークであるSafeThinkerを提案する。 実験によると、SafeThinkerは、堅牢性を損なうことなく、さまざまなジェイルブレイク戦略における攻撃の成功率を大幅に低下させる。
  論文  参考訳（メタデータ） (2026-01-23T07:12:53Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• Representation Bending for Large Language Model Safety [27.842146980762934]
  大きな言語モデル(LLM)は強力なツールとして登場したが、その固有の安全性のリスクは重大な課題を引き起こしている。 本稿では,LLMにおける有害行動の表現を根本的に破壊する新しい手法であるRepBendを紹介する。 RepBendは最先端のパフォーマンスを達成し、Circuit Breaker、RMU、NPOといった従来の手法よりも優れ、攻撃成功率を最大95%削減する。
  論文  参考訳（メタデータ） (2025-04-02T09:47:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。