論文の概要: Don't Judge an LLM Only by Its Activations: Discovering Suppressed Safety Features via Counterfactual Activation Potential

• arxiv url: http://arxiv.org/abs/2610.05541v1
• Date: Sun, 04 Oct 2026 21:13:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 13:10:02.694494
• Title: Don't Judge an LLM Only by Its Activations: Discovering Suppressed Safety Features via Counterfactual Activation Potential
• Title（参考訳）: LLMのアクティベーションのみを判断してはいけない:非現実的アクティベーション電位による抑制された安全特徴の発見
• Abstract要約: この研究は、不活性なセットには有害なプロンプトの拒絶に因果関係のある安全クリティカルな特徴が含まれていることを示した。 本稿では,抑制された特徴の潜伏活性化傾向を定量化する指標であるCAP(Counterfactual Activation Potential)を紹介する。 機能のサプレッサーの増幅は、アクティベーションをダウンさせ、抑制された機能に関連するプロンプトに対する有害なコンプライアンスを高める。
• 参考スコア（独自算出の注目度）: 7.391676722216757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mechanistic interpretability has emerged as the primary means to understand safety behavior of LLMs. However, existing tools primarily focus on the activating neurons or features of a model. The role of the remaining large set of inactive components is invisible to such methods. This work demonstrates that the inactive set contains safety-critical features that are causally relevant for refusal of harmful prompts. Suppressing such features could turn refusals into compliance, while passing undetected by prevalent interpretability tools. We introduce the Counterfactual Activation Potential (CAP), a metric that quantifies a suppressed feature's latent activation tendency as the product of its encoder alignment (how strongly the input drives it), suppression strength (how strongly active features inhibit it), and safety criticality (how much refusal depends on it). To find suppressed safety features at scale, we propose CAP-guided Safety Feature Discovery (CSFD), a two-stage filtering algorithm that identifies candidate safety features from hundreds of thousands of transcoder features without exhaustive ablation. A significant fraction of trials turn compliant with harmful prompts when a candidate feature is ablated. Under natural jailbreaks, the suppression acting on the highest-CAP features rises 2-4x, and their activation correspondingly falls by up to 80%. Amplifying a feature's suppressors pushes its activation down and raises harmful compliance with prompts related to the suppressed feature, with no such effect for random features. Our experiments span five Gemma, Qwen, and Llama models across various parameter sizes. Our findings indicate that jailbreaks could operate in part by suppressing safety-critical features rather than solely activating harmful ones, and that suppressed features are a necessary complement to activation-focused interpretability of safety behavior.
• Abstract（参考訳）: LLMの安全行動を理解する主要な手段として、機械的解釈可能性(mechanistic interpretability)が出現している。 しかし、既存のツールは、主にモデルの活性化ニューロンや特徴に焦点を当てている。 残りの大きな不活性成分の集合の役割はそのような方法には見えない。 この研究は、不活性なセットには有害なプロンプトの拒絶に因果関係のある安全クリティカルな特徴が含まれていることを示した。 このような機能の抑制は、一般的な解釈可能性ツールで検出されていないパスをパスしながら、拒絶をコンプライアンスへと変える可能性がある。 本稿では,抑制された特徴の潜在活性化傾向を,エンコーダアライメント(入力がいかに強く駆動するか),抑制強度(アクティブな特徴が抑制されているか),安全性の臨界度(どの程度の拒絶がそれに依存するか)の積として定量化する指標であるCAP(Conteerfactual Activation Potential)を紹介する。 大規模に抑制された安全機能を見つけるために, CAP-guided Safety Feature Discovery (CSFD) を提案する。 かなりの数の臨床試験は、候補の機能が廃止されると有害なプロンプトに適合する。 自然のジェイルブレイクでは、最高のCAP特徴に作用する抑制は2-4倍に増加し、その活性化は最大80%減少する。 機能のサプレッサーの増幅は、アクティベーションをダウンさせ、抑制された機能に関連するプロンプトに対する有害なコンプライアンスを、ランダムな機能には影響しない。 我々の実験は、様々なパラメータサイズにわたる5つのGemma、Qwen、Llamaモデルにまたがる。 本研究は, 危険物のみを活性化するのではなく, 安全クリティカルな特徴を抑えることで, 脱獄は部分的には機能しうることを示し, 安全行動のアクティベーションに焦点を絞った解釈可能性に欠かせない特徴を抑えることが示唆された。

関連論文リスト

• Robust Harmful Features Under Jailbreak Attacks: Mechanistic Evidence from Attention Head Specialization in Large Language Models [10.710999398691392]
  攻撃は安全機能を包括的に排除するのではなく、特定の注意を選択的に抑制することを示す。 攻撃によって抑制される初期層に集中するAdversarially Compromized Heads (ACHs) と、攻撃が成功しても堅牢な活性化を維持する中層におけるSafety-Aligned Heads (SAHs) の2つの機能分化型を同定した。
  論文  参考訳（メタデータ） (2026-06-26T14:51:16Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• Principled Steering via Null-space Projection for Jailbreak Defense in Vision-Language Models [71.11171576590134]
  視覚言語モデルは視覚的ジェイルブレイク攻撃によって容易に誘導され、有害なコンテンツを生成する。 本稿では,NullSteerを提案する。 我々はNullSteerが様々なジェイルブレイク攻撃において有害な出力を著しく減少させることを示す。
  論文  参考訳（メタデータ） (2026-03-23T15:23:23Z)
• Beyond I'm Sorry, I Can't: Dissecting Large Language Model Refusal [40.3000670795883]
  有害なプロンプトの拒絶は、命令調整型大規模言語モデル(LLM)における重要な安全行動である 残留ストリームアクティベーションを訓練したスパースオートエンコーダ(SAE)を用いて、Gemma-2-2B-ITとLLaMA-3.1-8B-ITの2つの公開命令チューニングモデルについて検討した。 有害なプロンプトが与えられた場合、私たちはSAE潜伏空間を探索し、アブレーションがモデルを拒絶からコンプライアンスに反転させ、因果的影響を示し、ジェイルブレイクを発生させる特徴セットを探索する。
  論文  参考訳（メタデータ） (2025-09-07T02:29:07Z)
• AdaSteer: Your Aligned LLM is Inherently an Adaptive Jailbreak Defender [99.3105257001476]
  本稿では,入力特性に基づいてモデル動作を調整するアダプティブアクティベーションステアリング手法であるAdaSteerを提案する。 AdaSteer は Rejection Direction (RD) と Harmfulness Direction (HD) の両方に沿って入力表現を操る 本研究は,LLMにおけるリアルタイム・フレキシブル安全対策のための解釈可能なモデル内装の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-04-13T07:39:17Z)
• Feature-Aware Malicious Output Detection and Mitigation [8.378272216429954]
  有害反応拒絶(FMM)のための特徴認識手法を提案する。 FMMは、モデルの特徴空間内に悪意のある特徴が存在することを検知し、モデルの拒絶機構を適応的に調整する。 実験により,複数の言語モデルと多様な攻撃手法を用いたアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2025-04-12T12:12:51Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。