論文の概要: Low-Shot Validation: Active Importance Sampling for Estimating Classifier Performance on Rare Categories

• arxiv url: http://arxiv.org/abs/2109.05720v1
• Date: Mon, 13 Sep 2021 06:01:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 15:59:57.564519
• Title: Low-Shot Validation: Active Importance Sampling for Estimating Classifier Performance on Rare Categories
• Title（参考訳）: 低ショット検証:希少カテゴリの分類器性能推定のための能動的重要サンプリング
• Authors: Fait Poms, Vishnu Sarukkai, Ravi Teja Mullapudi, Nimit S. Sohoni, William R. Mark, Deva Ramanan, Kayvon Fatahalian
• Abstract要約: 限定ラベル付きトレーニングデータでトレーニングされた機械学習モデルでは、全体のアノテーションコストを削減する上で、バリデーションが主要なボトルネックになる。 稀なカテゴリのバイナリ分類器のFスコアを正確に推定する統計的検証アルゴリズムを提案する。 特に、100個のラベルを用いて0.005の差でモデルF1のスコアを推定できる。
• 参考スコア（独自算出の注目度）: 47.050853657721596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For machine learning models trained with limited labeled training data, validation stands to become the main bottleneck to reducing overall annotation costs. We propose a statistical validation algorithm that accurately estimates the F-score of binary classifiers for rare categories, where finding relevant examples to evaluate on is particularly challenging. Our key insight is that simultaneous calibration and importance sampling enables accurate estimates even in the low-sample regime (< 300 samples). Critically, we also derive an accurate single-trial estimator of the variance of our method and demonstrate that this estimator is empirically accurate at low sample counts, enabling a practitioner to know how well they can trust a given low-sample estimate. When validating state-of-the-art semi-supervised models on ImageNet and iNaturalist2017, our method achieves the same estimates of model performance with up to 10x fewer labels than competing approaches. In particular, we can estimate model F1 scores with a variance of 0.005 using as few as 100 labels.
• Abstract（参考訳）: 限定ラベル付きトレーニングデータでトレーニングされた機械学習モデルでは、全体のアノテーションコストを削減する上で、バリデーションが主要なボトルネックになる。 本研究では, 統計的検証アルゴリズムを提案する。このアルゴリズムは, 稀なカテゴリに対して, バイナリ分類器のf-scoreを正確に推定する。 我々の重要な洞察は、同時校正と重要度サンプリングは、低サンプル状態(300サンプル)においても正確な推定を可能にすることである。 また,本手法のばらつきを精度良く推定し,この推定器が低サンプル数で実験的に精度が高いことを示し,与えられた低サンプル推定をどれだけ信頼できるかを実践者が知ることができるようにした。 ImageNetとiNaturalist2017で最先端の半教師付きモデルを検証した場合,提案手法は競合する手法に比べて最大10倍のラベルでモデル性能を推定する。 特に、100個のラベルを用いて0.005の差でモデルF1のスコアを推定できる。

関連論文リスト

• Semi-supervised Learning For Robust Speech Evaluation [30.593420641501968]
  音声評価は、自動モデルを用いて学習者の口頭習熟度を測定する。 本稿では,半教師付き事前学習と客観的正規化を活用することで,このような課題に対処することを提案する。 アンカーモデルは、発音の正しさを予測するために擬似ラベルを用いて訓練される。
  論文  参考訳（メタデータ） (2024-09-23T02:11:24Z)
• It's all about PR -- Smart Benchmarking AI Accelerators using Performance Representatives [40.197673152937256]
  統計性能モデルのトレーニングは、しばしば大量のデータを必要とするため、かなりの時間的投資となり、ハードウェアの可用性が制限された場合に困難になる。 本稿では,精度を保ちながらトレーニングサンプル数を著しく削減する性能モデリング手法を提案する。 その結果,単層推定では0.02%,トレーニングサンプル10000点未満では0.68%という平均絶対誤差(MAPE)が得られた。
  論文  参考訳（メタデータ） (2024-06-12T15:34:28Z)
• A Framework for Efficient Model Evaluation through Stratification, Sampling, and Estimation [17.351089059392674]
  本稿では,階層化,サンプリング,推定を含むモデル評価のためのフレームワークを提案する。 モデル性能の正確な予測に基づいて,k平均クラスタリングによる成層化を行うことで,効率的に推定できることを示す。 また、データセットのラベル付けされていない部分におけるモデル精度の予測を利用するモデル支援推定器は、一般的に従来の推定値よりも効率的であることがわかった。
  論文  参考訳（メタデータ） (2024-06-11T14:49:04Z)
• On Efficient and Statistical Quality Estimation for Data Annotation [11.216738303463751]
  アノテーション付きデータセットは、教師付き機械学習モデルをトレーニング、評価、比較、生産化するための重要な要素である。 品質評価は、専門家が手動でインスタンスを正しくも正しくもラベル付けすることで行われることが多い。 しかし、小さなサンプルサイズに基づく推定は、誤り率の不正確な値につながる可能性がある。 また, 受入サンプリングは, 同じ統計的保証を提供しながら, 必要なサンプルサイズを最大50%削減できることを示した。
  論文  参考訳（メタデータ） (2024-05-20T09:57:29Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Detecting Errors and Estimating Accuracy on Unlabeled Data with Self-training Ensembles [38.23896575179384]
  本稿では,この2つの課題に同時に対処する,原則的かつ実用的な枠組みを提案する。 1つのインスタンス化は、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。 iWildCamでは、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。
  論文  参考訳（メタデータ） (2021-06-29T21:32:51Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Multi-label Contrastive Predictive Coding [125.03510235962095]
  差分相互情報(MI)推定器は、コントラスト予測符号化(CPC)のような教師なし表現学習法で広く利用されている。 本稿では,複数の正のサンプルを同時に同定する必要がある多ラベル分類問題に基づく新しい推定器を提案する。 同一量の負のサンプルを用いて複数ラベルのCPCが$log m$boundを超えることができる一方で、相互情報の有意な下限であることを示す。
  論文  参考訳（メタデータ） (2020-07-20T02:46:21Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。