論文の概要: REINS: Refusal-Enhanced Inhibitory Steering with Sparse Autoencoder Features

• arxiv url: http://arxiv.org/abs/2608.28233v1
• Date: Fri, 28 Aug 2026 11:47:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.305786
• Title: REINS: Refusal-Enhanced Inhibitory Steering with Sparse Autoencoder Features
• Title（参考訳）: REINS: スパースオートエンコーダ機能付き拒絶抑制ステアリング
• Abstract要約: スパースオートエンコーダ(SAE)は、大規模な言語モデルの振る舞いをトレーニングせずに適応するための軽量な推論時パスを提供する。 複雑なラッパーは、有害なプロンプトに対して既存のSAEステアリング手法を損なう可能性がある。 本稿では, 有害な継続性を抑制し, 安全な拒絶性を高めるRefusal-Enhanced Inhibitory Steering (REINS)を提案する。
• 参考スコア（独自算出の注目度）: 42.07883859906045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Steering with Sparse Autoencoders (SAEs) offers a lightweight inference-time path for adapting the behavior of large language models without retraining. By exposing sparse and interpretable features, SAE steering provides a promising interface for safety control that guides harmful continuations toward refusal. However, we observe that complex wrappers can still undermine existing SAE steering methods on harmful prompts. To evaluate this failure mode systematically, we construct Generalized Undercover Instruction Safety Evaluation (GUISE), a dataset of harmful prompts with complex wrappers. Existing single direction SAE steering methods do not reliably produce refusals on harmful prompts, suggesting that refusal enhancement alone can be too weak when the harmful continuation path remains active. This motivates us to propose Refusal-Enhanced INhibitory Steering (REINS), which suppresses harmful continuation features and enhances safe refusal features in the same SAE feature space. Experiments on GUISE and other datasets show that prior methods either intervene too weakly or achieve only apparent safety through collapse, while REINS substantially reduces harmful responses, markedly improves safe refusals and largely preserves general capabilities.
• Abstract（参考訳）: Sparse Autoencoders (SAEs) によるステアリングは、大規模な言語モデルの振る舞いをトレーニングせずに適応するための軽量な推論時パスを提供する。 スパースと解釈可能な特徴を露呈することにより、SAEステアリングは、有害な継続を拒絶へと導く安全制御のための有望なインターフェースを提供する。 しかし, 複雑なラッパーは有害なプロンプトに対して, 既存のSAEステアリング法を損なう可能性がある。 この障害モードをシステマティックに評価するために,複雑なラッパーを用いた有害なプロンプトのデータセットであるGeneralized Undercover Instruction Safety Evaluation (GUISE)を構築した。 既存の単方向SAEステアリング法は、有害なプロンプトに対する拒絶を確実に生成しないため、有害な継続経路がアクティブな状態では、拒絶の強化だけでは弱すぎる可能性が示唆されている。 これにより, 有害な継続性を抑制し, 同一のSAE特徴空間における安全な拒絶機能を高めるRefusal-Enhanced In inhibit Steering (REINS)を提案する。 GUISEや他のデータセットの実験では、事前の手法が弱すぎるか、崩壊によって明らかな安全性しか達成できないのに対し、REINSは有害な応答を著しく減らし、安全な拒絶を著しく改善し、一般的な機能を大幅に改善している。

関連論文リスト

• DDOR: Delta Debugging for Explainable Overrefusal Testing and Repair [17.573294728864443]
  DDOR(Delta for OverRefusal)は、オーバーリフレッシュテストと修復のための、完全に自動化され、説明可能なフレームワークである。 デルタデバッグを適用して最小限の拒絶トリガーフラグメント(mRTF)をローカライズする。 スケーラブルでモデル固有のオーバーリフレクションテストスイート(モデル毎に約1Kケース)を生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:07:12Z)
• Enhancing Agent Safety Judgment: Controlled Benchmark Rewriting and Analogical Reasoning for Deceptive Out-of-Distribution Scenarios [0.2578242050187029]
  ROMEは、既知の安全でないトラジェクトリを偽評価インスタンスに書き換える、制御されたベンチマーク構築パイプラインである。 ARISEは、外部アナログベースからReActスタイルのアナログ安全軌道を抽出し、それらを構造化推論例として注入する検索誘導推論時間拡張である。
  論文  参考訳（メタデータ） (2026-05-05T00:21:00Z)
• GSAE: Graph-Regularized Sparse Autoencoders for Robust LLM Safety Steering [5.124731939041066]
  大規模言語モデル(LLM)は、敵のプロンプトやジェイルブレイク攻撃を通じて有害なコンテンツを生成するように操作できるため、重要な安全上の課題に直面している。 グラフ正規化スパースオートエンコーダ (GSAE) を導入し, ニューロン共活性化グラフ上にラプラシアンスムーズネスペナルティを持つSAEを拡張した。 GSAEは, 効果的な安全ステアリング, 特徴を重み付けした安全関連方向に組み立て, 2段階のゲーティング機構で制御できることを実証した。
  論文  参考訳（メタデータ） (2025-12-07T04:46:30Z)
• Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models [93.5740266114488]
  コンストラクティブ・セーフティ・アライメント(CSA)は、悪意のある誤用を防ぎつつ、脆弱性のあるユーザを安全で有益な結果へと積極的に誘導する。 Oy1は、高度な汎用能力を保ちながら、オープンモデル間の最先端の安全性を達成する。 私たちは、責任あるユーザ中心AIをサポートするために、Oy1、コード、ベンチマークをリリースしています。
  論文  参考訳（メタデータ） (2025-09-02T03:04:27Z)
• Turning the Spell Around: Lightweight Alignment Amplification via Rank-One Safety Injection [47.347413305965006]
  大規模言語モデル(LLM)における安全性の整合性は、しばしば有害な要求を拒否するために内部表現を仲介する。 近年の研究では、これらの安全メカニズムは特定の表現方向を非難したり削除したりすることで回避可能であることが示されている。 そこで本研究では,リファレンシャル・メディア・サブスペースへのアクティベーションを永久に操り,モデルの安全アライメントを向上する手法であるランクワン・セーフティ・インジェクション(ROSI)を提案する。
  論文  参考訳（メタデータ） (2025-08-28T13:22:33Z)
• Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。