論文の概要: GSAE: Graph-Regularized Sparse Autoencoders for Robust LLM Safety Steering

• arxiv url: http://arxiv.org/abs/2512.06655v1
• Date: Sun, 07 Dec 2025 04:46:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.450699
• Title: GSAE: Graph-Regularized Sparse Autoencoders for Robust LLM Safety Steering
• Title（参考訳）: GSAE:ロバストLLM安全ステアリング用グラフ正規化スパースオートエンコーダ
• Authors: Jehyeok Yeon, Federico Cinus, Yifan Wu, Luca Luceri,
• Abstract要約: 大規模言語モデル(LLM)は、敵のプロンプトやジェイルブレイク攻撃を通じて有害なコンテンツを生成するように操作できるため、重要な安全上の課題に直面している。 グラフ正規化スパースオートエンコーダ (GSAE) を導入し, ニューロン共活性化グラフ上にラプラシアンスムーズネスペナルティを持つSAEを拡張した。 GSAEは, 効果的な安全ステアリング, 特徴を重み付けした安全関連方向に組み立て, 2段階のゲーティング機構で制御できることを実証した。
• 参考スコア（独自算出の注目度）: 5.124731939041066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) face critical safety challenges, as they can be manipulated to generate harmful content through adversarial prompts and jailbreak attacks. Many defenses are typically either black-box guardrails that filter outputs, or internals-based methods that steer hidden activations by operationalizing safety as a single latent feature or dimension. While effective for simple concepts, this assumption is limiting, as recent evidence shows that abstract concepts such as refusal and temporality are distributed across multiple features rather than isolated in one. To address this limitation, we introduce Graph-Regularized Sparse Autoencoders (GSAEs), which extends SAEs with a Laplacian smoothness penalty on the neuron co-activation graph. Unlike standard SAEs that assign each concept to a single latent feature, GSAEs recover smooth, distributed safety representations as coherent patterns spanning multiple features. We empirically demonstrate that GSAE enables effective runtime safety steering, assembling features into a weighted set of safety-relevant directions and controlling them with a two-stage gating mechanism that activates interventions only when harmful prompts or continuations are detected during generation. This approach enforces refusals adaptively while preserving utility on benign queries. Across safety and QA benchmarks, GSAE steering achieves an average 82% selective refusal rate, substantially outperforming standard SAE steering (42%), while maintaining strong task accuracy (70% on TriviaQA, 65% on TruthfulQA, 74% on GSM8K). Robustness experiments further show generalization across LLaMA-3, Mistral, Qwen, and Phi families and resilience against jailbreak attacks (GCG, AutoDAN), consistently maintaining >= 90% refusal of harmful content.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、敵のプロンプトや脱獄攻撃を通じて有害なコンテンツを生成するように操作できるため、重要な安全上の課題に直面している。 多くの防衛は、出力をフィルタリングするブラックボックスガードレールや、単一の潜伏した特徴または寸法として安全を運用することで隠れた活性化を操る内部ベースの方法のいずれかである。 単純な概念には有効だが、この仮定は制限されている。最近の証拠は、拒絶や時間性といった抽象的な概念が1つに分離されるのではなく、複数の特徴に分散していることを示している。 この制限に対処するため,SAEをニューロン共活性化グラフ上にラプラシアスムーズなペナルティで拡張するグラフ正規化スパースオートエンコーダ(GSAE)を導入する。 各概念を単一の潜在機能に割り当てる標準的なSAEとは異なり、GSAEは複数の機能にまたがる一貫性のあるパターンとしてスムーズで分散された安全表現を回復する。 我々は、GSAEが効果的なランタイムセーフティステアリングを可能にし、特徴を重み付けされた安全関連方向に組み立て、生成中に有害なプロンプトや継続が検出された場合にのみ介入を活性化する2段階ゲーティング機構でそれらを制御できることを実証的に実証した。 このアプローチは、良質なクエリのユーティリティを保ちながら、リファインダを適応的に強制する。 安全性とQAベンチマーク全体で、GSAEステアリングは平均82%の選択的拒絶率を実現し、標準のSAEステアリング(42%)をほぼ上回り、高いタスク精度を維持している(TriviaQAでは70%、TrathfulQAでは65%、GSM8Kでは74%)。 ロバストネス実験は、LLaMA-3、Mistral、Qwen、Phiファミリーをまたいだ一般化とジェイルブレイク攻撃(GCG、AutoDAN)に対するレジリエンスをさらに示している。

関連論文リスト

• UpSafe$^\circ$C: Upcycling for Controllable Safety in Large Language Models [67.91151588917396]
  大規模言語モデル(LLM)は、幅広いタスクで顕著な進歩を遂げているが、有害なコンテンツ生成やジェイルブレイク攻撃といった安全リスクに弱いままである。 安全に配慮したリサイクルによるLCMの安全性向上のための統合フレームワークであるUpSafe$circ$Cを提案する。 この結果から, 静的アライメントから動的, モジュール, 推論対応制御への移行という, LLMの安全性の新たな方向性が明らかになった。
  論文  参考訳（メタデータ） (2025-10-02T16:43:33Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• LatentGuard: Controllable Latent Steering for Robust Refusal of Attacks and Reliable Response Generation [4.29885665563186]
  LATENTGUARDは、行動アライメントと教師付き潜在空間制御を組み合わせて、解釈可能で正確な安全操縦を行うフレームワークである。 本研究は, 実用性を損なうことなく, 安全性制御性と応答解釈性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2025-09-24T07:31:54Z)
• Embedding Poisoning: Bypassing Safety Alignment via Embedding Semantic Shift [23.0914017433021]
  この研究は、モデルウェイトや入力テキストを変更することなく、埋め込み層出力に直接知覚不能な摂動を注入することで脆弱性を利用する、新しいデプロイメントフェーズ攻撃のクラスを特定する。 本稿では,リスクトークンに関連付けられた埋め込みに注意深く最適化された摂動を導入する,実用的なモデルに依存しないフレームワークである検索ベースの埋め込みポジショニングを提案する。
  論文  参考訳（メタデータ） (2025-09-08T05:00:58Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• Efficient Switchable Safety Control in LLMs via Magic-Token-Guided Co-Training [1.5349686675266894]
  LLM(Large Language Models)におけるコンテンツ安全性の現在の手法は、マルチステージトレーニングパイプラインに依存している。 複数の安全性挙動を効率的に統合する統合協調学習フレームワークを提案する。 我々は,SFT+DPOの安全アライメント品質に一致し,安全性能においてDeepSeek-R1 (671B) を上回る8Bモデルを示した。
  論文  参考訳（メタデータ） (2025-08-12T02:39:33Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
  ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)
• Boosting Jailbreak Transferability for Large Language Models [10.884050438726215]
  不整合出力を削減するために,シナリオ誘導テンプレート,最適化された接尾辞選択,および再接尾辞攻撃機構の統合を提案する。 提案手法は,様々なベンチマーク実験において優れた性能を示し,攻撃実行と転送可能性の両方において100%近い成功率を達成した。
  論文  参考訳（メタデータ） (2024-10-21T05:11:19Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。