論文の概要: Detecting Safety Training Modification in Language Models via Activation Analysis
- arxiv url: http://arxiv.org/abs/2608.05578v1
- Date: Thu, 06 Aug 2026 03:57:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.696952
- Title: Detecting Safety Training Modification in Language Models via Activation Analysis
- Title（参考訳）: アクティベーション分析による言語モデルの安全訓練修正の検出
- Abstract要約: 本稿では,アクティベーション空間における安全関連概念の幾何学的構造を測定することで,言語モデルにおける安全訓練の修正を検出するツールであるAMSを紹介する。
4つのアーキテクチャファミリにまたがる14のモデル構成のAMSを検証する。
メカニスティック分析は、アクティベーション空間のシグネチャによって区別される安全訓練の修正の4つのクラス分類を識別する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce AMS (Activation-based Model Scanner), a tool that detects modifications to safety training in language models by measuring the geometric structure of safety-relevant concepts in activation space. Safety training creates measurable separation between harmful and benign content classes; certain safety modifications collapse or rotate this structure, while others leave it intact. We validate AMS across 14 model configurations spanning 4 architecture families (Llama, Gemma, Qwen, Mistral) and four safety-modification categories (instruction-tuned, base, abliterated, uncensored fine-tunes). Leave-one-out cross-validation of thresholds achieves 71% accuracy (10/14); bootstrap 95% confidence intervals on sigma point estimates have median width 3.4 sigma. We measure behavioral compliance on 20 stratified JailbreakBench prompts per model and find that sigma on the harmful-content concept predicts compliance with Pearson r = -0.546 (p = 0.043), directionally but with meaningful noise. Mechanistic analysis identifies a four-class taxonomy of safety-training modifications distinguished by activation-space signature: training removal collapses cluster separation; weight-orthogonalization abliteration both collapses separation and rotates the refusal direction; rotation-without-collapse abliteration preserves separation while rotating direction; and behavioral fine-tuning preserves both magnitude and direction. AMS's Tier 1 sigma-threshold detects the first two classes; Tier 2 direction-similarity verification detects the third. The fourth is undetectable by activation-only probing and represents a documented failure mode. We discuss threshold calibration, limitations of single-run measurement, and the open problem of detecting behavioral-only safety modifications.
- Abstract（参考訳）: AMS(Activation-based Model Scanner)は,アクティベーション空間における安全関連概念の幾何学的構造を測定することで,言語モデルにおける安全訓練の修正を検出するツールである。
安全トレーニングは有害なコンテンツクラスと良性のあるコンテンツクラスの間に測定可能な分離をもたらします。
4つのアーキテクチャファミリ(Llama, Gemma, Qwen, Mistral)と4つの安全性修正カテゴリ(インストラクションチューニング,ベース, アブリーブ化, 無検閲のファイントゥーン)にまたがる14のモデル構成に対して,AMSを検証した。
71%の精度(10/14)を達成し、シグマ点推定における95%信頼区間のブートストラップは中央値3.4シグマを有する。
階層化された20個のJailbreakBench上の行動コンプライアンスをモデル毎に測定し、有害コンテンツの概念上のシグマがピアソン r = -0.546 (p = 0.043) のコンプライアンスを予測するが、有意なノイズを伴う。
機械的分析は、アクティベーション空間のシグネチャによって区別される安全訓練の4つの分類を識別する:訓練の除去はクラスター分離を崩壊させる; 体重の直交化はどちらも分離を崩壊させ、拒絶方向を回転させる; 回転を伴わない失効は、回転しながら分離を保存し、行動の微調整は大きさと方向の両方を保存する。
AMSのTier 1 sigma-thresholdは最初の2つのクラスを検出する。
4番目はアクティベーションのみのプローブで検出できず、文書化された障害モードを表す。
本稿では, しきい値の校正, 単走測定の限界, 行動のみの安全修正を検出する開放的問題について論じる。
関連論文リスト
- Verification-Aware Training for Speculative Decoding [57.84976863792784]
VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。
VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。
VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
論文 参考訳（メタデータ） (2026-08-31T01:42:10Z) - Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。
画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
論文 参考訳（メタデータ） (2026-07-29T05:16:59Z) - Asymmetric Collapse in Model Merging: When Refusal Over- writes Recognition [4.800831341795478]
Gemma-3-1B-ITファインタインを2つの相補的安全目標,CARESハーモレベル分類とWildJailbreakの回避に使用した。
リニア, SLERP, TIES, DARE-TIES の2つのファインチューンをマージし, 分類精度, 攻撃抵抗, 良性コンプライアンスに関する統合モデルの評価を行った。
論文 参考訳（メタデータ） (2026-07-26T19:10:34Z) - Silent Alarm: A J-Space Protocol for Comparing Danger Recognition Across Models and Quantization Levels [0.0]
この研究は、ヤコビ空間を通してモデルの内部表現を測定するプロトコルであるJADRを提案する。
すべてのプロンプトとレイヤに対して、トップkのJスペーストークンを記録します。
これらは6つのシナリオ軸にグループ化され、StrongREJECTに基づく危険サンプルと、XSTestとOKTestから引き出された安全なコントロールを比較します。
論文 参考訳（メタデータ） (2026-07-14T14:08:18Z) - When Context Flips, Safety Breaks: Diagnosing Brittle Safety in Aligned Language Models [5.03712104249503]
安全ベンチマークスコアは、デプロイの準備が不完全な証拠を提供する。
整列言語モデルは、状況アップデートがどのアクションが安全かをひっくり返しても、厳格なルールに固執することが多い。
安全ベンチマーク全体で12のモデルと2つのコモンセンス制御を、名目上安全なアクションが害をもたらすペア付き変種を用いてテストする。
論文 参考訳（メタデータ） (2026-05-27T02:09:30Z) - Forgetting That Sticks: Quantization-Permanent Unlearning via Circuit Attribution [3.6704226968275253]
量子化を乗り越える手法はモデルにほとんど変化しないが, 圧縮条件下では, 有意義な忘れ方を実現するための勾配に基づく手法を示す。
因果回路の属性を組み合わせることで両モードを解消し,最小限の差分集合部分グラフを分離するMANSUを提案する。
さらに,構造的消去と行動抑制を区別する機構的検証尺度であるCircuit Attribution Divergence(CAD)を導入する。
論文 参考訳（メタデータ） (2026-05-14T17:44:10Z) - Geometric-Disentangelment Unlearning [106.99160454669902]
忘れたサンプルへの勾配は しばしば 保持された知識を傷つける
本稿では,GU(Geometric-disment Unlearning)を提案する。
本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
論文 参考訳（メタデータ） (2025-11-21T09:58:25Z) - A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。
我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。
本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
論文 参考訳（メタデータ） (2025-10-03T07:01:45Z) - DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。
デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
論文 参考訳（メタデータ） (2025-09-29T05:17:10Z) - Emulated Disalignment: Safety Alignment for Large Language Models May Backfire! [65.06450319194454]
大きな言語モデル(LLM)は、人間との安全な会話を確保するために安全アライメントを行う。
本稿では,安全アライメントの反転が可能なトレーニングフリーアタック手法を提案する。
本手法をエミュレートした脱アライメント (ED) と呼ぶのは, このコントラスト分布からのサンプリングは, 安全報酬を最小限に抑えるため, 微調整の結果を確実にエミュレートするからである。
論文 参考訳（メタデータ） (2024-02-19T18:16:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。