論文の概要: Coverage, Not Difficulty, Sets How Much Synthetic Data an Activation Probe Needs

• arxiv url: http://arxiv.org/abs/2610.10594v1
• Date: Tue, 06 Oct 2026 18:49:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 11:59:33.729514
• Title: Coverage, Not Difficulty, Sets How Much Synthetic Data an Activation Probe Needs
• Title（参考訳）: アクティベーション・プローブに必要な合成データの量を設定する「Coverage」
• Abstract要約: デプロイされた言語モデルを監視するアクティベーションプローブは、合成会話に基づいてトレーニングされる。 学習曲線は,3つのモニタリング概念,ハイテイク状況,人に対して有害な応答,ユーザの指示に従わない応答の3点に対して,10～590以上の学習曲線をトレースする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation probes that monitor deployed language models are trained on synthetic conversations, and how many a probe needs is open. We trace learning curves over 10-590 synthetic samples for three monitoring concepts, high-stakes situations, replies harmful to a person, and replies that do not follow the user's instruction, on fourteen held-out evaluation distributions and four probe models, varying the generator LLM and the prompt's detail. The need is set by what is monitored: probes for high-stakes and harmful are within a few hundredths of their plateau from 80 samples on Gemma-3-27B-IT, instruction probes need several times as many, and the ordering holds on three smaller probe models and on real samples (from dev set). Prior work advises spending a generation budget on breadth, more kinds of data, over depth, more of each kind. We read the depth a concept needs as the half-gain size of a fitted curve, the number of samples at which half the gain is in hand. Concept and distribution account for 42-45% of its variance, the generator, probe model, and prompt detail for under 10%. What sets the value of the half-gain size is coverage, not per-kind difficulty: the number of samples of its own kind a distribution needs to saturate. Every kind, one per evaluation distribution, has a median half-gain size of 7-11 own-kind synthetic samples under all three concepts alike. What differs is how far samples of one kind transfer to the concept's other kinds, almost fully under high-stakes, less under harmful, and least under instruction, which accounts for most of the gap between concepts on generated and real samples. Breadth therefore pays differently by concept: many kinds are necessary under instruction, where no kind covers another, and nearly redundant under high-stakes, where one kind covers the rest. We release the evaluation suites, dev sets, and generated sets.
• Abstract（参考訳）: デプロイされた言語モデルを監視するアクティベーションプローブは、合成会話に基づいてトレーニングされる。 本研究では,3つのモニタリング概念,ハイテイク状況,個人に有害な応答,ユーザの指示に従わない応答,14の保持された評価分布と4つのプローブモデルに基づいて,10～590以上の学習曲線をトレースし,ジェネレータLLMとプロンプトの詳細を変化させた。 高濃度のプローブと有害なプローブは、Gemma-3-27B-IT上の80のサンプルから数百分の1の範囲内であり、命令プローブは数倍必要であり、3つの小さなプローブモデルと実際のサンプル(開発セットから)を発注する。 以前の作業では、世代予算を幅、データの種類、深さ、それぞれの種類に費やすことが推奨されていた。 我々は、この概念が必要とする深さを、収率の半分が手元にあるサンプル数である嵌合曲線の半ゲインサイズとして読み取る。 概念と分布は、その分散の42-45%、ジェネレータ、プローブモデル、そして10%以下の詳細を迅速に説明できる。 半ゲインサイズの値を設定するのはカバレッジであり、種ごとの難しさではない。 いずれの種も、評価分布ごとに中央値の半ゲインサイズは7-11の自家型合成サンプルであり、これら3つの概念も同様である。 違いは、ある種類のサンプルが、ある種類のサンプルが、その概念の他の種類のサンプルにどの程度の距離を移すかである。 したがって、ブレッドスは概念によって異なる支払いをする:多くの種類は命令の下で必要であり、ある種類は別のものをカバーすることなく、ある種類は他のものをカバーする。 評価スイート、開発セット、生成セットをリリースします。

関連論文リスト

• One Token Is Enough: Fingerprinting and Verifying Large Language Models from Single-Token Output Distributions [0.0]
  APIアグリゲータ、再販業者、推論プロバイダは、大きな言語モデル(LLM)を使用する。 既存の識別技術には、長いテキスト、トークンレベルのログ確率、反対に作られたプロンプト、またはモデル所有者の協力が必要である。 我々は,LLMの行動指紋を,自明なワンワードプロンプトに対する応答の実証的分布として定義する。
  論文  参考訳（メタデータ） (2026-07-11T10:34:17Z)
• Multi-Objective Learning for Diffusion Models: A Statistical Theory under Semi-Supervised Learning [83.65494573724904]
  我々は、限られたデータを持つ拡散モデルのための原則的MOLフレームワークを開発する。 限られたペアデータから,まず軽量なスペシャリストモデルに適合する2段階のトレーニング手順を提案する。 与えられたペアサンプルの個数は、専門モデルクラスの複雑さにのみ依存することを示す境界一般化を確立する。
  論文  参考訳（メタデータ） (2026-05-24T18:19:40Z)
• Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions [50.1404916337174]
  大規模言語モデル(LLM)における母国語の確率的サンプリングの大規模,統計的に活用された最初の監査について述べる。 バッチ生成は, ほぼ完全に崩壊する一方, 中央値のパスレートが13%であり, 統計的妥当性はわずかであることがわかった。 現在のLCMには機能的な内部サンプルが欠如しており、統計的保証を必要とするアプリケーションに外部ツールを使う必要があると結論付けている。
  論文  参考訳（メタデータ） (2026-01-08T22:33:12Z)
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
  モデルから候補解を繰り返しサンプリングする簡単な手法を用いて、推論計算をスケーリングのための別の軸として検討する。 複数のタスクやモデルにまたがって、カバレッジは4桁以上のサンプル数でスケールする。 コードや形式的証明のようなドメインでは、回答が自動的に検証されるので、カバレッジの増加は直接的にパフォーマンスの向上につながります。
  論文  参考訳（メタデータ） (2024-07-31T17:57:25Z)
• A Provably Efficient Sample Collection Strategy for Reinforcement Learning [123.69175280309226]
  オンライン強化学習(RL)における課題の1つは、エージェントがその振る舞いを最適化するために、環境の探索とサンプルの活用をトレードオフする必要があることである。 1) 生成モデル(環境のスパースシミュレータなど)にアクセス可能な状態のサンプル数を規定する「対象別」アルゴリズム,2) 所定のサンプルをできるだけ早く生成する「対象別」サンプル収集。
  論文  参考訳（メタデータ） (2020-07-13T15:17:35Z)
• DLow: Diversifying Latent Flows for Diverse Human Motion Prediction [32.22704734791378]
  本研究では,事前学習した深部生成モデルから多種多様なサンプル群を生成するために,新しいサンプリング手法であるDLow(Diversifying Latent Flows)を提案する。 トレーニング中、DLowはサンプルの多様性を改善するために潜伏マッピングを最適化する目的として、サンプルよりも多様性を優先する。 実験の結果,DLowはサンプルの多様性と精度で最先端のベースライン法より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-03-18T17:58:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。