論文の概要: Activation Probes Are Reliable With a Handful of Positive Examples

• arxiv url: http://arxiv.org/abs/2610.39766v1
• Date: Thu, 29 Oct 2026 10:18:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.491123
• Title: Activation Probes Are Reliable With a Handful of Positive Examples
• Title（参考訳）: アクティベーション・プローブは、ポジティブな例を多用して信頼性が高い
• Abstract要約: 多くのネガティブな例によるトレーニングは、少数の人に対するバランスの取れたトレーニングよりも平均的に正のサンプル効率が高い。 より大きなモデルの方がより正のサンプル効率が高いという、ポジティブなスケーリング傾向を示す。
• 参考スコア（独自算出の注目度）: 0.7128080962281788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efforts to monitor advanced AI for rare misalignments face a data challenge: abundant aligned examples but only a handful of misaligned ones. We test activation probes in this "few vs. thousands" regime on spam and honesty detection tasks. For our tasks, training with many negative examples is on average more positive-sample-efficient than balanced training for small numbers (1-10) of positive samples. We also find that LLM upsampling can provide a performance boost equivalent to roughly doubling the number of real positive samples, though excessive upsampling hurts performance. Finally, we show a positive scaling trend, where larger models are more positive-sample-efficient to probe. Our findings suggest we should leverage the large number of negative samples available to amplify the signal from rare but critical misalignment examples.
• Abstract（参考訳）: 稀なミスアライメントのための高度なAIを監視する努力は、データ課題に直面している。 スパムと正直な検出タスクについて、この「2月対数千」体制でアクティベーションプローブをテストする。 我々のタスクでは、多くの負の例によるトレーニングは、少数のサンプル(1-10)に対するバランスの取れたトレーニングよりも平均的に正のサンプル効率が高い。 また,LLMアップサンプリングは実陽性サンプル数の約2倍に相当する性能向上をもたらすが,過剰アップサンプリングは性能を損なう。 最後に,大規模モデルの方がより正のサンプル効率が高い,正のスケーリング傾向を示す。 この結果から, 稀ながら重要な誤認識例からの信号を増幅するためには, 多数の陰性サンプルを活用すべきであることが示唆された。

関連論文リスト

• Failures Are the Stepping Stones to Success: Enhancing Few-Shot In-Context Learning by Leveraging Negative Samples [3.4511221986774516]
  大規模言語モデルは強力なインコンテキスト学習(ICL)能力を示すが、その性能は提供された例に非常に敏感である。 最近の研究は、各入力クエリの対応する例の検索に重点を置いている。 提案手法は, 正のサンプルをよりよく選択するために負のサンプルを利用する新しい方法である。
  論文  参考訳（メタデータ） (2025-07-31T03:06:27Z)
• SyNeg: LLM-Driven Synthetic Hard-Negatives for Dense Retrieval [45.971786380884126]
  Dense Search (DR) の性能は, 陰性サンプリングの品質に大きく影響される。 大規模言語モデル(LLM)の最近の進歩は、文脈的にリッチで多様な負のサンプルを生成することで革新的なソリューションを提供する。 本研究では,LLMを用いて高品質な硬質負のサンプルを合成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-23T03:49:00Z)
• Rethinking Samples Selection for Contrastive Learning: Mining of Potential Samples [5.586563813796839]
  対照的な学習は、2つの画像が同じカテゴリに属しているかどうかを予測する。 正と負の両方のサンプルを考慮し、2つの側面から潜在的サンプルをマイニングする。 CIFAR10, CIFAR100, TinyImagenetでそれぞれ88.57%, 61.10%, および36.69%のTop-1精度を達成した。
  論文  参考訳（メタデータ） (2023-11-01T08:08:06Z)
• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• SimANS: Simple Ambiguous Negatives Sampling for Dense Text Retrieval [126.22182758461244]
  評価結果によると, 正の値にランク付けされた負の値は, 一般的にはより情報的であり, 偽陰の可能性が低いことがわかった。 そこで本研究では,よりあいまいな負のサンプリングに新しいサンプリング確率分布を組み込んだ,単純な曖昧な負のサンプリング手法であるSimANSを提案する。
  論文  参考訳（メタデータ） (2022-10-21T07:18:05Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Simplify and Robustify Negative Sampling for Implicit Collaborative Filtering [42.832851785261894]
  本稿では,まず,モデル学習において潜在的に重要な事例が少数存在することを実証的に観察し,ネガティブな事例を新たに理解する。 次に、メモリに格納された高分散サンプルを好んで、修正されていない偽陰性問題に取り組む。 2つの合成データセットと3つの実世界のデータセットの実証結果は、我々の負サンプリング法の堅牢性と優位性を示している。
  論文  参考訳（メタデータ） (2020-09-07T19:08:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。