論文の概要: Steering Language Model Refusal with Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2411.11296v2
• Date: Thu, 22 May 2025 23:03:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 15:51:02.671391
• Title: Steering Language Model Refusal with Sparse Autoencoders
• Title（参考訳）: スパースオートエンコーダを用いたステアリング言語モデル拒絶
• Authors: Kyle O'Brien, David Majercak, Xavier Fernandes, Richard Edgar, Blake Bullwinkel, Jingya Chen, Harsha Nori, Dean Carignan, Eric Horvitz, Forough Poursabzi-Sangde,
• Abstract要約: この研究は、SAEステアリングに基づく安全改善と一般的なモデル機能との緊張関係を明らかにする。 本研究は,言語モデルにおける安全関連機能の性質に関する重要なオープンな疑問を明らかにするものである。
• 参考スコア（独自算出の注目度）: 16.304363931580273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Responsible deployment of language models requires mechanisms for refusing unsafe prompts while preserving model performance. While most approaches modify model weights through additional training, we explore an alternative: steering model activations at inference time via amplifying sparse autoencoder (SAE) features that mediate refusal. This work uncovers a fundamental tension between SAE steering-based safety improvements and general model capabilities. While feature steering successfully improves robustness against both single-turn and challenging multi-turn jailbreak attempts, we discover that this comes at a previously underexplored cost -- systematic degradation of performance across multiple benchmark tasks, even on safe inputs with no apparent connection to refusal behavior. This suggests that features mediating refusal may be more deeply entangled with general language model capabilities than previously understood. Our findings reveal important open questions about the nature of safety-relevant features in language models and the feasibility of isolating them for targeted intervention. While SAE-based steering shows promise as a flexible approach to enhancing language model safety, our results highlight the critical need to understand and address the mechanisms behind these capability tradeoffs before such techniques can be practically deployed.
• Abstract（参考訳）: 責任ある言語モデルのデプロイには、モデルのパフォーマンスを維持しながら、安全でないプロンプトを再利用するためのメカニズムが必要である。 ほとんどのアプローチでは、追加トレーニングを通じてモデルウェイトを変更するが、別の方法を探る: スパースオートエンコーダ(SAE)機能を増幅することで、推論時のモデルアクティベーションをステアリングする。 この研究は、SAEステアリングに基づく安全改善と一般的なモデル機能との根本的な緊張関係を明らかにする。 機能ステアリングは、シングルターンと挑戦的なマルチターンジェイルブレイクの両方に対する堅牢性の改善に成功していますが、これまで探索されていなかったコスト -- 複数のベンチマークタスクにおけるパフォーマンスの体系的劣化が、動作を拒否する明確な接続のない安全な入力でも実現可能であることが分かりました。 このことは、拒否を仲介する機能は、以前理解していたよりも、一般的な言語モデル機能とより深く絡み合っている可能性があることを示唆している。 本研究は,言語モデルにおける安全関連機能の性質と,対象とした介入を分離する可能性について,重要なオープンな疑問を呈するものである。 SAEベースのステアリングは、言語モデルの安全性を高めるフレキシブルなアプローチであることを示しているが、我々の結果は、そのようなテクニックが実際にデプロイされる前に、これらの機能トレードオフの背後にあるメカニズムを理解し、対処する必要性を強調している。

関連論文リスト

• AdaSteer: Your Aligned LLM is Inherently an Adaptive Jailbreak Defender [73.09848497762667]
  本稿では,入力特性に基づいてモデル動作を調整するアダプティブアクティベーションステアリング手法であるAdaSteerを提案する。 AdaSteer は Rejection Direction (RD) と Harmfulness Direction (HD) の両方に沿って入力表現を操る 本研究は,LLMにおけるリアルタイム・フレキシブル安全対策のための解釈可能なモデル内装の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-04-13T07:39:17Z)
• Feature-Aware Malicious Output Detection and Mitigation [8.378272216429954]
  有害反応拒絶(FMM)のための特徴認識手法を提案する。 FMMは、モデルの特徴空間内に悪意のある特徴が存在することを検知し、モデルの拒絶機構を適応的に調整する。 実験により,複数の言語モデルと多様な攻撃手法を用いたアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2025-04-12T12:12:51Z)
• DELMAN: Dynamic Defense Against Large Language Model Jailbreaking with Model Editing [62.43110639295449]
  大きな言語モデル(LLM)は意思決定に広く適用されているが、そのデプロイはJailbreak攻撃によって脅かされている。 Delmanは、jailbreak攻撃に対する厳密でダイナミックな保護のために、直接モデル編集を活用する新しいアプローチである。 Delman氏は、モデルの有用性を維持しながら有害な振る舞いを中和するために、関連するパラメータの最小セットを直接更新する。
  論文  参考訳（メタデータ） (2025-02-17T10:39:21Z)
• Root Defence Strategies: Ensuring Safety of LLM at the Decoding Level [10.658844160259104]
  大規模言語モデル (LLM) は様々な産業で大きな有用性を示している。 LLMが進むにつれて、不正または悪意のある命令プロンプトによって有害な出力のリスクが増大する。 本稿では, LLMが有害な出力を認識する能力について検討し, 従来のトークンの危険性を評価する能力を明らかにし, 定量化する。
  論文  参考訳（メタデータ） (2024-10-09T12:09:30Z)
• Applying Refusal-Vector Ablation to Llama 3.1 70B Agents [0.0]
  本研究では,Llama 3.1 70Bにリファレルベクターアブレーションを適用し,単純なエージェントスキャフォールディングを実装し,制限のないエージェントを生成する。 以上の結果から,これらの拒否拒否ベクターアブレーションモデルが,流産やフィッシング攻撃などの有害なタスクを完了できることが示唆された。 Llama 3.1 インストラクションモデルでは,修正なしに最も有害なタスクを実行できるため,チャットモデルにおける安全性の微調整はエージェント動作に適さないことが示唆された。
  論文  参考訳（メタデータ） (2024-10-08T13:42:36Z)
• Phi-3 Safety Post-Training: Aligning Language Models with a "Break-Fix" Cycle [11.619942198710334]
  本稿では,Phi-3シリーズの言語モデルの安全性向上のための手法を提案する。 サイクルを利用して、複数のデータセットキュレーション、安全後のトレーニング、ベンチマーク、レッドチーム、脆弱性識別を実行します。 結果は、このアプローチが幅広いAIベンチマークでPhi-3モデルの性能を反復的に改善したことを示している。
  論文  参考訳（メタデータ） (2024-07-18T18:06:59Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  本研究では,Large Language Models (LLMs) の安全性チューニングにおける重要なギャップについて考察する。 我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を与える新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは、(1)安全応答の開始に有害な応答のセグメントを付加することにより、安全でないコンテンツを認識・回避するようモデルに訓練する、(1)有害応答前フィックスによる最大限の類似度推定、(2)有害応答の開始を通して潜在的害から安全拒絶へ継続的に移行する能力を持つ強化遷移最適化(RTO)という2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
  言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。 KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。 本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
  論文  参考訳（メタデータ） (2024-06-21T01:37:39Z)
• Navigating the OverKill in Large Language Models [84.62340510027042]
  モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
  論文  参考訳（メタデータ） (2024-01-31T07:26:47Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Can Autonomous Vehicles Identify, Recover From, and Adapt to Distribution Shifts? [104.04999499189402]
  トレーニング外の配布(OOD)シナリオは、デプロイ時にエージェントを学ぶ上で一般的な課題である。 インプロバスト模倣計画(RIP)と呼ばれる不確実性を考慮した計画手法を提案する。 提案手法は,OODシーンにおける過信および破滅的な外挿を低減し,分布変化を検知し,回復することができる。 分散シフトを伴うタスク群に対する駆動エージェントのロバスト性を評価するために,自動走行車ノベルシーンベンチマークであるtexttCARNOVEL を導入する。
  論文  参考訳（メタデータ） (2020-06-26T11:07:32Z)
• Online Parameter Estimation for Human Driver Behavior Prediction [5.927030511296174]
  インテリジェントドライバモデルに適用されたオンラインパラメータ推定は、衝突のない軌道を提供しながら、ニュアンスな個人運転行動をキャプチャすることを示す。 本研究は,運転モデルの真理データ実証における近接性を評価し,その結果の緊急運転行動の安全性を評価する。
  論文  参考訳（メタデータ） (2020-05-06T05:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。