Local Sparsity Enables Unsupervised LLM Safety Detection
Abstractの概要
本論文は、安全でない訓練ラベルを用いずにモデルのアクティベーションに対する1クラス異常検知として課題を定式化することで、デプロイ時におけるLLMの安全性検出を研究しています。その主な主張は、近接する安全なアクティベーションが小さな共通のアクティブサポートを共有するという、著者らが「局所的スパース性（local sparsity）」と呼ぶ特性により、スパースオートエンコーダ（SAE）概念空間において異常検知が実行可能になるという点です。この考えに基づき、本論文は埋め込み空間、クラスタリング、局所スパース部分空間の選択、スコアリングの各要素を備えたモジュール式フレームワークを提案し、FreqMask-KMおよびLearnedMask-LoRAとして具体化しています。本手法は6つの指示調整済みモデルファミリーで評価されており、サンプル複雑性がアクティベーションの全次元ではなく局所的スパース性に比例することを示す理論的分析も提示されています。
新規性
本研究の独自な貢献は、安全でないデータの教師あり事例に依存するのではなく、SAE特徴空間における局所的スパース性を教師なしLLM安全性検出の基盤として利用した点です。さらに、この構造的仮説を複数のモデルファミリーにわたる実証的検証と組み合わせ、高次元のアクティベーション空間において検出が機能する理由を説明するサンプル複雑性の議論を提供しています。
成果
サイズが8B以上の5つのモデルにおいて、局所スパース化手法は4つのモデルで最良の教師なしアプローチとなり、残る1モデルでも僅差の2位となりました（平均AUROCはMahalanobisの0.893やGMMの0.903に対し、FreqMask-KMが0.904、LearnedMask-LoRAが0.909）。また、マスキングは最大規模のモデルでより重要となり、マスクなしバリアントと比較してGPT-oss 20Bで最大0.119、Gemma 4 26Bで0.090のAUROC向上が報告されています。1%の安全でないデータと1%の良性な分布外データを用いたクラスタごとのキャリブレーションにより、提案手法は6モデル全体で0.962から0.990のAUROCを達成しました。
論文の注目点
- 安全なデータのみをモデル化し、SAEから得られたアクティベーション表現内の異常として安全でない振る舞いを検出する。
- 生のアクティベーション空間からSAE空間への移行が大きな性能向上をもたらし、大規模モデルになるほど局所スパースマスキングが特に重要になることが実験で示されている。
- 局所的スパース性の下では、検出器の汎化性能が空間全体の次元数ではなく主に局所的な有効次元数に依存するという理論によって実証結果を裏付けている。