論文の概要: Scaling Laws for Safety Probes

• arxiv url: http://arxiv.org/abs/2610.30678v2
• Date: Fri, 23 Oct 2026 01:55:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.231317
• Title: Scaling Laws for Safety Probes
• Title（参考訳）: 安全プローブのスケーリング法則
• Abstract要約: プローブ誤差を1-AUROCと定義し,低値がよい場合の性能を測定した。 プローブ誤差は2つの単純なスケーリング法則に従う。 家族の最小モデルに合わせると、法則は次の大きなモデルの誤差を72%のケースで0.02未満に予測する。 さらに、より多くのラベルやより大きなモデルが、ターゲットエラーを73%のケースで達成する上で、より安価な方法であるかどうかも特定する。
• 参考スコア（独自算出の注目度）: 7.156482576003246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safety probes trained on a model's activations are a standard tool for monitoring language models in real time. Each time a new model is released or a new harm area needs to be monitored, the probe must be retrained, which requires new labels and a choice of probe architecture. Yet neither the model nor the labels tell us in advance how well the resulting probe will perform. Finding out requires training and comparing many probe configurations. In this paper, we ask whether probe performance can instead be predicted in advance from model size and the number of labels. Existing safety datasets are insufficient for this, as they are either limited in scale or already saturated. We therefore construct six new safety datasets of sufficient size and difficulty. On these datasets, we train two probe architectures on 20 base models from five model families, with 32 to $10^{6}$ labels for each model. We measure performance using probe error, defined as 1 - AUROC, where lower values are better. We find that probe error follows two simple scaling laws. First, the lowest probe error a model can reach falls as a power law in its size. Second, probe error decreases towards its floor as the number of examples increases; the slope increases as the target model size increases. Both laws hold across tasks, model families and probe architectures, and only their fitted constants differ. When fitted on the smallest models of a family, the laws predict the error of the next larger model to within 0.02 in 72% of cases. They also identify whether more labels or a larger model is the cheaper way to reach a target error in 73% of cases. Finally, they choose the probe architecture with an extra error of only 0.006 on average when they pick the worse one. These laws allow safety researchers to determine how to create the best probe for any given model and label budget.
• Abstract（参考訳）: モデルのアクティベーションに基づいてトレーニングされた安全プローブは、言語モデルをリアルタイムで監視するための標準ツールである。 新しいモデルがリリースされる度に、または新しいハーネス領域を監視する必要があるたびに、プローブを再訓練し、新しいラベルとプローブアーキテクチャを選択する必要がある。 しかし、モデルもラベルも、結果のプローブの性能を事前に教えてくれない。 探すには、多くのプローブ構成をトレーニングし比較する必要がある。 本稿では,モデルのサイズやラベル数から事前にプローブ性能を予測できるかどうかを問う。 既存の安全データセットは、規模が制限されているか、既に飽和しているため、このために不十分である。 したがって、十分な大きさと難易度を持つ6つの新しい安全データセットを構築した。 これらのデータセットに基づいて、5つのモデルファミリーから20のベースモデルに2つのプローブアーキテクチャをトレーニングします。 プローブ誤差を1-AUROCと定義し,低値がよい場合の性能を測定した。 プローブ誤差は2つの単純なスケーリング法則に従う。 第一に、モデルが到達できる最小のプローブ誤差は、そのサイズにおける電力法則として低下する。 第二に、サンプル数が増えるにつれてプローブ誤差が床に向かって減少し、対象モデルのサイズが大きくなるにつれて傾斜が増加する。 どちらの法則もタスク、モデルファミリー、プローブアーキテクチャにまたがって保持し、適合定数だけが異なる。 家族の最小モデルに合わせると、法則は次の大きなモデルの誤差を72%のケースで0.02未満に予測する。 さらに、より多くのラベルやより大きなモデルが、ターゲットエラーを73%のケースで達成する上で、より安価な方法であるかどうかも特定する。 最後に、より悪いものを選択すると平均0.006の余分なエラーでプローブアーキテクチャを選択する。 これらの法律により、安全研究者は、任意のモデルとラベルの予算に対して最適なプローブを作成する方法を決定することができる。

関連論文リスト

• Evaluating Escalation Signals for LLM Routing: Targets, Controls, and Five Ways to Fool Yourself [1.43494686131174]
  セマンティックエントロピーは,小モデルの誤りを確実に識別し,ランダムエスカレーションよりも経路精度を向上させることを示す。 また、AUROC 0.908から確率レベル0.518までの崩壊を正確に予測することで、新しいデータセットで機能するかどうかの予測方法も示しています。
  論文  参考訳（メタデータ） (2026-10-05T20:22:34Z)
• Alignment via Training Against Probes Without Losing Monitorability [74.20363742615332]
  モデルアクティベーションにおける望ましくない特性を直接学習信号として検出するプローブを用いたプローブ誘導微調整について検討した。 トレーニング中に更新されないプローブに対するトレーニングは、容易に活用可能な目標であることが分かりました。 プローブ誘導による微調整は、DPOや推論時のステアリングよりも安全性と実用性のトレードオフが向上すると同時に、脱獄や脱獄攻撃に対してかなり堅牢である。
  論文  参考訳（メタデータ） (2026-09-29T23:03:54Z)
• Search Dimension in Unlabeled Projection Pursuit: A Scaling Law for Subspace Restriction [4.579039730086138]
  投影追跡は、データが最小のガウス的に見える方向を探索する。 観測空間がガウス補数が大きい場合、信号を持たない方向によって経験的目的を最小化することができる。 既知のフォワード演算子の列空間への探索の制限は、負の曲率分岐上の失敗を正確に除去する。
  論文  参考訳（メタデータ） (2026-09-29T16:11:51Z)
• Calibrated Decisions at Scale: Converting Police Crash Narratives into Probabilistic Crash Variables with a System One Model (Jev) [1.089614199781423]
  本稿では,Jev が回答した有格な型付き決定文として,ナラティブコーディングを定式化する。 499,500件のテキサスの物語と195,857件が27問のスキーマで書かれた。
  論文  参考訳（メタデータ） (2026-09-21T03:24:47Z)
• DataDecide: How to Predict Best Pretraining Data with Small Experiments [67.95896457895404]
  私たちはDataDecideのモデル、データ、評価を公開しています。 最大100Bトークン,最大1Bパラメータのモデルサイズ,および3つのランダムシードを用いて,25コーパスにわたる事前学習実験を行った。
  論文  参考訳（メタデータ） (2025-04-15T17:02:15Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Probing Model Signal-Awareness via Prediction-Preserving Input Minimization [67.62847721118142]
  モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。 その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
  論文  参考訳（メタデータ） (2020-11-25T20:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。