論文の概要: Targeting Negative Flips in Active Learning using Validation Sets

• arxiv url: http://arxiv.org/abs/2411.10896v1
• Date: Sat, 16 Nov 2024 21:50:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:34:46.446654
• Title: Targeting Negative Flips in Active Learning using Validation Sets
• Title（参考訳）: 検証集合を用いたアクティブラーニングにおける負のフリップのターゲット
• Authors: Ryan Benkert, Mohit Prabhushankar, Ghassan AlRegib,
• Abstract要約: 本稿では,予測精度と負のフリップによる能動学習アルゴリズムの性能向上について論じる。 最初の観察では、負のフリップと全体的なエラー率が切り離されている。 第2の観察は、未ラベルプールのサブセットで目標とするアクティブラーニングを実行することが、アクティブラーニングアルゴリズムの動作に大きな影響を与えることである。
• 参考スコア（独自算出の注目度）: 14.11559987180237
• License:
• Abstract: The performance of active learning algorithms can be improved in two ways. The often used and intuitive way is by reducing the overall error rate within the test set. The second way is to ensure that correct predictions are not forgotten when the training set is increased in between rounds. The former is measured by the accuracy of the model and the latter is captured in negative flips between rounds. Negative flips are samples that are correctly predicted when trained with the previous/smaller dataset and incorrectly predicted after additional samples are labeled. In this paper, we discuss improving the performance of active learning algorithms both in terms of prediction accuracy and negative flips. The first observation we make in this paper is that negative flips and overall error rates are decoupled and reducing one does not necessarily imply that the other is reduced. Our observation is important as current active learning algorithms do not consider negative flips directly and implicitly assume the opposite. The second observation is that performing targeted active learning on subsets of the unlabeled pool has a significant impact on the behavior of the active learning algorithm and influences both negative flips and prediction accuracy. We then develop ROSE - a plug-in algorithm that utilizes a small labeled validation set to restrict arbitrary active learning acquisition functions to negative flips within the unlabeled pool. We show that integrating a validation set results in a significant performance boost in terms of accuracy, negative flip rate reduction, or both.
• Abstract（参考訳）: 能動学習アルゴリズムの性能は2つの方法で改善できる。 頻繁に使われる直感的な方法は、テストセット内の全体的なエラー率を減らすことである。 第2の方法は、トレーニングセットがラウンド間で増加すると、正しい予測が忘れられないようにすることだ。 前者はモデルの精度で測定され、後者はラウンド間の負のフリップでキャプチャされる。 負のフリップは、前の/より小さなデータセットでトレーニングされた時に正しく予測され、追加のサンプルがラベル付けされた後に誤って予測されるサンプルである。 本稿では,予測精度と負のフリップの両方の観点から,能動学習アルゴリズムの性能向上について考察する。 本稿では, 負のフリップと全体の誤差率を分離し, 他方のフリップの減少を必ずしも示唆するものではないことを示す。 我々の観察は、現在のアクティブな学習アルゴリズムが直接的に負のフリップを考慮せず、暗黙的にその逆を仮定するので重要である。 第2の観察は、未ラベルプールのサブセットで標的となるアクティブラーニングを行うことが、アクティブラーニングアルゴリズムの挙動に大きな影響を与え、負のフリップと予測精度の両方に影響を与えることである。 ROSE - 小さなラベル付き検証セットを用いて任意のアクティブ学習獲得関数をラベルなしプール内の負のフリップに制限するプラグインアルゴリズムを開発する。 検証セットの統合は,精度,負のフリップ率の低減,あるいはその両方において,大幅な性能向上をもたらすことを示す。

関連論文リスト

• Probably Approximately Precision and Recall Learning [62.912015491907994]
  精度とリコールは機械学習の基本的な指標である。 一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。 PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Contrastive Learning with Negative Sampling Correction [52.990001829393506]
  PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。 PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。 PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-01-13T11:18:18Z)
• Robust Positive-Unlabeled Learning via Noise Negative Sample Self-correction [48.929877651182885]
  正および未ラベルのデータから学ぶことは、文学における正の未ラベル(PU)学習として知られている。 本研究では,人間の学習の性質を動機とした学習戦略を取り入れた,新しい堅牢なPU学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-01T04:34:52Z)
• Language Model Pre-training on True Negatives [109.73819321246062]
  差別的事前訓練言語モデル(PLM)は、故意に破損した言語から原文を予測することを学ぶ。 既存のPLMは、すべての破損したテキストを検査せずに同等に否定的に扱う。 我々は、偽陰性予測に対処し、真陰性に関する事前学習言語モデルを促進するために、強化された事前学習手法を設計する。
  論文  参考訳（メタデータ） (2022-12-01T12:24:19Z)
• Diversity Enhanced Active Learning with Strictly Proper Scoring Rules [4.81450893955064]
  テキスト分類のための能動学習(AL)のための獲得関数について検討する。 我々は、期待損失削減法(ELR)を、ログ確率や負平均二乗誤差などの(厳密な)スコアの増加を推定するために変換する。 BEMPSを用いた平均二乗誤差とログ確率を用いることで、ロバストな取得関数が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T05:02:11Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Meta-learning with negative learning rates [3.42658286826597]
  ディープラーニングモデルは、よく機能するために大量のデータを必要とします。 対象タスクにデータが不足している場合には、類似タスクのトレーニングによって得られた知識を転送して、ターゲットを素早く学習することができる。 成功しているアプローチはメタラーニング(メタラーニング)、あるいは、学習が外ループで表されるタスクの分布を学習し、勾配降下の内側ループで学習する学習である。
  論文  参考訳（メタデータ） (2021-02-01T16:14:14Z)
• Positive-Congruent Training: Towards Regression-Free Model Updates [87.25247195148187]
  画像分類において、サンプルワイドの不整合は「負のフリップ」として現れる 新しいモデルは、古い(参照)モデルによって正しく分類されたテストサンプルの出力を誤って予測する。 そこで本研究では,PC トレーニングのための簡易なアプローチである Focal Distillation を提案する。
  論文  参考訳（メタデータ） (2020-11-18T09:00:44Z)
• Collective Loss Function for Positive and Unlabeled Learning [19.058269616452545]
  本稿では,正と未ラベルのデータのみから学習する集合的損失関数を提案する。 その結果,cPU は現状の PU 学習方法より一貫して優れていた。
  論文  参考訳（メタデータ） (2020-05-06T03:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。