論文の概要: Linear Probes Transfer from Base to Distilled Language Models despite Rotation
- arxiv url: http://arxiv.org/abs/2610.35586v1
- Date: Mon, 26 Oct 2026 15:15:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.04894
- Title: Linear Probes Transfer from Base to Distilled Language Models despite Rotation
- Title（参考訳）: 回転に拘わらず、ベースから蒸留言語モデルへの線形プローブ移動
- Abstract要約: ベースモデル上でプローブをトレーニングし、そのベースの後継2つに適用します。
安全なプロンプトから安全でないプロンプトを17$circ$から35$circ$に分離する方向を、XSTestでは、転送されたプローブのAUCを-0.011$から+0.027$に変更する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Linear probes, classifiers that read a language model's internal activations, are widely used to detect harmful requests. They are cheap to train and run, and an auditor who has trained one would like to reuse it when the model is replaced by a successor rather than retrain it for every release. We test how well probes can be reused. For four base models (Qwen2.5-Math-7B, Llama-3.1-8B, Qwen2.5-14B, Qwen2.5-32B) we train a probe on the base model with the XSTest prompt set and apply it, unchanged, to two successors of that base: the DeepSeek-R1 distilled reasoning model and the developer's instruction-tuned chat model. We find that the successors rotate the direction separating unsafe from safe prompts by 17$^\circ$ to 35$^\circ$, yet on XSTest the transferred probe's AUC changes by only $-0.011$ to $+0.027$, and on an independent OR-Bench evaluation, never used for training, by $-0.015$ to $+0.053$. On XSTest, whose safe prompts deliberately contain alarming words, the probes beat a classifier that sees only the prompt text by 0.15 to 0.20 AUC. On the OR-Bench prompts that margin shrinks to 0.03 to 0.20, and the probes flag 29\% to 42\% of prompts that sound harmful but are benign, so part of what they read is the appearance of harm rather than harm itself. A probe trained on a base model can thus be reused, in these families, after distillation and after instruction tuning; how much it reads beyond textual cues depends on the test set.
- Abstract（参考訳）: 線形プローブ、言語モデルの内部アクティベーションを読み取る分類器は、有害な要求を検出するために広く使われている。
トレーニングと実行は安価で、トレーニングした監査官は、モデルをリリース毎に再トレーニングするのではなく、後継に置き換えた時に再利用したいと考えています。
プローブの再利用方法をテストする。
4つのベースモデル(Qwen2.5-Math-7B、Llama-3.1-8B、Qwen2.5-14B、Qwen2.5-32B)に対して、XSTestプロンプトセットでベースモデル上でプローブをトレーニングし、そのベースの後継であるDeepSeek-R1蒸留推論モデルとディベロッパの命令調整型チャットモデルである。
XSTestでは、転送されたプローブのAUCは、たったの$-0.011$から$+0.027$であり、独立したOR-Bench評価では、トレーニングに使用せず、$-0.015$から$+0.053$である。
XSTestでは、安全プロンプトに注意を喚起する単語を意図的に含んでいるが、プローブは、プロンプトテキストのみを0.15から0.20AUCで見るクラシファイアを破る。
OR-Benchでは、マージンが0.03から0.20に縮まり、プローブのフラグ29\%から42\%は有害だが良性である。
従って、ベースモデルでトレーニングされたプローブは、蒸留後や、指導後のチューニング後に、これらのファミリーで再利用することができる。
関連論文リスト
- Prompt-Injection Probes Learn the Conversation, Not Just the Injection [4.0712351781379255]
モデルに隠された状態の線形プローブは、間接的なプロンプトインジェクションのための安価なモニターとして使用される。
トレーニングアプリケーションでは、トレーニングデータのみを変更することで、誤ったアラームが41～80%から4～27%に削減される。
新しいアプリケーションでは、誤報は低いが、検出はモデルやしきい値の設定方法によって異なる。
論文 参考訳（メタデータ） (2026-10-13T13:51:06Z) - Prompted to Discriminate: Generalizing Malicious-Input Probes in the Wild [0.0]
安価で、ますます一般的な動きは、ユーザのターン後に、短い分類命令を追加することです。
厳密なLODO (Left-one-dataset-out) 評価の下で, ユーザサフィックスの制御されたラグを用いてこれを検証する。
これはアクティベーション・プローブ・モニターの安価なドロップインだが、自動的な勝利ではない。
論文 参考訳（メタデータ） (2026-10-01T19:36:57Z) - Training-Free Human-in-the-Loop Anomaly Detection via Memory Bank Correction [0.28675177318965045]
異常検知器は、トレーニングデータが不足している場所を正確にデプロイするのが最も難しい。
本稿では、ドメインエキスパートが直接メモリバンクの編集によってPatchCore検出器を補正する、トレーニングフリーのヒューマン・イン・ザ・ループ・フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-18T13:39:21Z) - Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。
我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。
この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
論文 参考訳（メタデータ） (2026-08-01T13:49:46Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - Now You (Still) See Me: Detecting Evasive Steganographic Payloads in LLMs [52.149036302760386]
大規模な言語モデルは、プロンプトによって引き起こされるシークレットを、流動的で良心的な出力にエンコードするように微調整することができる。
近年の研究では、内部の活性化から秘密を回収する線形プローブによる検出を提案する。
この防御は体系的に回避できるが,対象とするデータレベルの介入によって検出性が回復可能であることを示す。
論文 参考訳（メタデータ） (2026-06-08T12:27:11Z) - The Tutoring Effectiveness Index: Predicting LLM Math Tutor Quality from Four Conversation Signals [0.12277343096128711]
本研究では,Schoenfeld-Verifyキーワード比,数学ステップ密度,エンドクエストレート,ディープシンキング比プローブからのディープ推論ゲートを組み合わせた,学習自由な判定自由な4信号指標を提案する。
TEIで$N$候補から選択すると、事前不正シナリオの改善率は59.0%$から8.1.9%$まで上昇し、凍結したDeepSeek-R1-8Bベースで$N=8$となる。
論文 参考訳（メタデータ） (2026-05-28T23:55:33Z) - Introspection Fine-Tuning (IFT): Training Small LLMs to Introspect [0.0]
本研究は,小言語モデルが内的アクティベーションを検出・報告できるかどうかを考察する。
まず,先行研究で使用される二項検出パラダイムが,質問内容に関係なく肯定的応答に偏りを示すため,小さなモデルで構築されていることを示す。
次に、モデル自身の摂動前進パスから構築した文局在化例を教師付き微調整するEmphIntrospection Fine-Tuning(IFT)を導入する。
論文 参考訳（メタデータ） (2026-05-08T05:30:26Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - Testing the Feasibility of Linear Programs with Bandit Feedback [53.40256244941895]
我々は,低回帰アルゴリズムと反復対数の漸近法則に基づくテストを開発する。
このテストが信頼できることを証明し、信号レベルに適応する'$Gamma,$ of any instance。
信頼性テストのサンプルコストに対して、最小限の$(Omegad/Gamma2)$で補う。
論文 参考訳（メタデータ） (2024-06-21T20:56:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。