論文の概要: Low-Shot Validation: Active Importance Sampling for Estimating
Classifier Performance on Rare Categories
- arxiv url: http://arxiv.org/abs/2109.05720v1
- Date: Mon, 13 Sep 2021 06:01:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-14 15:59:57.564519
- Title: Low-Shot Validation: Active Importance Sampling for Estimating
Classifier Performance on Rare Categories
- Title(参考訳): 低ショット検証:希少カテゴリの分類器性能推定のための能動的重要サンプリング
- Authors: Fait Poms, Vishnu Sarukkai, Ravi Teja Mullapudi, Nimit S. Sohoni,
William R. Mark, Deva Ramanan, Kayvon Fatahalian
- Abstract要約: 限定ラベル付きトレーニングデータでトレーニングされた機械学習モデルでは、全体のアノテーションコストを削減する上で、バリデーションが主要なボトルネックになる。
稀なカテゴリのバイナリ分類器のFスコアを正確に推定する統計的検証アルゴリズムを提案する。
特に、100個のラベルを用いて0.005の差でモデルF1のスコアを推定できる。
- 参考スコア(独自算出の注目度): 47.050853657721596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For machine learning models trained with limited labeled training data,
validation stands to become the main bottleneck to reducing overall annotation
costs. We propose a statistical validation algorithm that accurately estimates
the F-score of binary classifiers for rare categories, where finding relevant
examples to evaluate on is particularly challenging. Our key insight is that
simultaneous calibration and importance sampling enables accurate estimates
even in the low-sample regime (< 300 samples). Critically, we also derive an
accurate single-trial estimator of the variance of our method and demonstrate
that this estimator is empirically accurate at low sample counts, enabling a
practitioner to know how well they can trust a given low-sample estimate. When
validating state-of-the-art semi-supervised models on ImageNet and
iNaturalist2017, our method achieves the same estimates of model performance
with up to 10x fewer labels than competing approaches. In particular, we can
estimate model F1 scores with a variance of 0.005 using as few as 100 labels.
- Abstract(参考訳): 限定ラベル付きトレーニングデータでトレーニングされた機械学習モデルでは、全体のアノテーションコストを削減する上で、バリデーションが主要なボトルネックになる。
本研究では, 統計的検証アルゴリズムを提案する。このアルゴリズムは, 稀なカテゴリに対して, バイナリ分類器のf-scoreを正確に推定する。
我々の重要な洞察は、同時校正と重要度サンプリングは、低サンプル状態(300サンプル)においても正確な推定を可能にすることである。
また,本手法のばらつきを精度良く推定し,この推定器が低サンプル数で実験的に精度が高いことを示し,与えられた低サンプル推定をどれだけ信頼できるかを実践者が知ることができるようにした。
ImageNetとiNaturalist2017で最先端の半教師付きモデルを検証した場合,提案手法は競合する手法に比べて最大10倍のラベルでモデル性能を推定する。
特に、100個のラベルを用いて0.005の差でモデルF1のスコアを推定できる。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z) - Few-shot learning approaches for classifying low resource domain
specific software requirements [1.1470070927586016]
少ないショットラーニング(Few-shot learning)は、いくつかの注釈付きサンプルを使用するディープラーニングの一種である。
我々の実験は、BOSCH自動車ドメインテキストソフトウェア要件を3つのカテゴリに分類することに焦点を当てた。
SciBERTとDeBERTaベースのモデルは15のトレーニングサンプルが最も正確である傾向にあるが、注記サンプルの数がシームズやT5ベースのモデルと比較して50に増加するにつれて、その性能向上は最小限に抑えられる。
論文 参考訳(メタデータ) (2023-02-14T10:19:23Z) - FreeMatch: Self-adaptive Thresholding for Semi-supervised Learning [46.95063831057502]
本稿では,モデルの学習状況に応じて,信頼度閾値を自己適応的に定義・調整するためのemphFreeMatchを提案する。
FreeMatchは、最新の最先端メソッドであるFlexMatchよりもtextbf5.78%、textbf13.59%、textbf1.28%のエラー率削減を実現している。
論文 参考訳(メタデータ) (2022-05-15T10:07:52Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Detecting Errors and Estimating Accuracy on Unlabeled Data with
Self-training Ensembles [38.23896575179384]
本稿では,この2つの課題に同時に対処する,原則的かつ実用的な枠組みを提案する。
1つのインスタンス化は、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。
iWildCamでは、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。
論文 参考訳(メタデータ) (2021-06-29T21:32:51Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Identifying Wrongly Predicted Samples: A Method for Active Learning [6.976600214375139]
本稿では,不確実性を超えた単純なサンプル選択基準を提案する。
予測されたサンプルを正しく識別するために、最先端の結果とより良いレートを示す。
論文 参考訳(メタデータ) (2020-10-14T09:00:42Z) - Multi-label Contrastive Predictive Coding [125.03510235962095]
差分相互情報(MI)推定器は、コントラスト予測符号化(CPC)のような教師なし表現学習法で広く利用されている。
本稿では,複数の正のサンプルを同時に同定する必要がある多ラベル分類問題に基づく新しい推定器を提案する。
同一量の負のサンプルを用いて複数ラベルのCPCが$log m$boundを超えることができる一方で、相互情報の有意な下限であることを示す。
論文 参考訳(メタデータ) (2020-07-20T02:46:21Z) - Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。
本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。
本手法では,クラス毎に20~30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
論文 参考訳(メタデータ) (2020-06-27T08:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。