論文の概要: Are Labels Always Necessary for Classifier Accuracy Evaluation?
- arxiv url: http://arxiv.org/abs/2007.02915v3
- Date: Tue, 25 May 2021 06:32:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-13 02:43:55.808550
- Title: Are Labels Always Necessary for Classifier Accuracy Evaluation?
- Title（参考訳）: 分類器の精度評価には常に必要か?
- Authors: Weijian Deng and Liang Zheng
- Abstract要約: ラベルなしテストデータセットの分類精度を推定することを目的としている。
元の画像から生成されたデータセットからなるメタデータセットを構築する。
各サンプル(データセット)上のモデルの分類精度は、元のデータセットラベルから知られているので、回帰によってそのタスクを解くことができる。
- 参考スコア（独自算出の注目度）: 28.110519483540482
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To calculate the model accuracy on a computer vision task, e.g., object
recognition, we usually require a test set composing of test samples and their
ground truth labels. Whilst standard usage cases satisfy this requirement, many
real-world scenarios involve unlabeled test data, rendering common model
evaluation methods infeasible. We investigate this important and under-explored
problem, Automatic model Evaluation (AutoEval). Specifically, given a labeled
training set and a classifier, we aim to estimate the classification accuracy
on unlabeled test datasets. We construct a meta-dataset: a dataset comprised of
datasets generated from the original images via various transformations such as
rotation, background substitution, foreground scaling, etc. As the
classification accuracy of the model on each sample (dataset) is known from the
original dataset labels, our task can be solved via regression. Using the
feature statistics to represent the distribution of a sample dataset, we can
train regression models (e.g., a regression neural network) to predict model
performance. Using synthetic meta-dataset and real-world datasets in training
and testing, respectively, we report a reasonable and promising prediction of
the model accuracy. We also provide insights into the application scope,
limitation, and potential future direction of AutoEval.
- Abstract（参考訳）: コンピュータビジョンタスク、例えば物体認識におけるモデルの精度を計算するには、通常、テストサンプルとその基底真理ラベルからなるテストセットが必要である。
標準的なユースケースはこの要件を満たすが、多くの実世界のシナリオではラベル付けされていないテストデータが含まれ、一般的なモデル評価手法は実現不可能である。
本稿では,この重要かつ未探索な問題であるAutomatic Model Evaluation(AutoEval)について検討する。
具体的には,ラベル付きトレーニングセットと分類器を用いて,ラベル付きテストデータセットの分類精度を推定することを目的とする。
メタデータセットを構築する:回転、背景置換、前景スケーリングなどの様々な変換を通じて、原画像から生成されたデータセットからなるデータセットを構築する。
各サンプル(データセット)上のモデルの分類精度は、元のデータセットラベルから分かっているので、回帰によって課題を解決できる。
サンプルデータセットの分布を表すために特徴統計を用いると、回帰モデル(回帰ニューラルネットワークなど)をトレーニングしてモデルの性能を予測することができる。
合成メタデータセットと実世界のデータセットをそれぞれトレーニングとテストに使用し,モデル精度の合理的かつ有望な予測を報告する。
また、AutoEvalのアプリケーションの範囲、制限、将来的な方向性に関する洞察も提供します。
関連論文リスト
- A Data-Centric Perspective on Evaluating Machine Learning Models for Tabular Data [9.57464542357693]
実世界のモデリングパイプラインは、しばしばデータセット固有の前処理と特徴工学を必要とするため、モデル中心の評価は偏りがあることを実証する。
Kaggleコンペティションから10の関連するデータセットを選択し、データセット毎に専門家レベルの前処理パイプラインを実装します。
データセット固有の機能エンジニアリングの後、モデルランキングは大幅に変化し、性能差が減少し、モデル選択の重要性が低下する。
論文 参考訳（メタデータ） (2024-07-02T09:54:39Z) - Learned Label Aggregation for Weak Supervision [8.819582879892762]
本稿では,ラベル付きデータを容易に生成するために,弱い監視信号を集約するデータプログラミング手法を提案する。
生成したラベルの質は、すべてのLFからノイズの多いラベルを集約し、基底真実のラベルを推測するラベル集約モデルに依存する。
合成されたデータを用いてモデルをトレーニングし、モデルに効果的なアーキテクチャを設計できることを示す。
論文 参考訳（メタデータ） (2022-07-27T14:36:35Z) - Certifying Data-Bias Robustness in Linear Regression [12.00314910031517]
本稿では, 線形回帰モデルが学習データセットのラベルバイアスに対して, ポイントワイズで損なわれているかどうかを検証する手法を提案する。
この問題を個々のテストポイントに対して正確に解く方法を示し、近似的だがよりスケーラブルな方法を提供する。
また、いくつかのデータセット上の特定のバイアス仮定に対して、高いレベルの非腐食性など、バイアス-腐食性のギャップを掘り下げる。
論文 参考訳（メタデータ） (2022-06-07T20:47:07Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Label-Free Model Evaluation with Semi-Structured Dataset Representations [78.54590197704088]
ラベルなしモデル評価(AutoEval)は、ラベルなしテストセットでモデル精度を推定する。
画像ラベルがない場合、データセット表現に基づいて、回帰を伴うAutoEvalのモデル性能を推定する。
本稿では,AutoEvalのリッチな情報を含む回帰学習のための半構造化データセット表現を提案する。
論文 参考訳（メタデータ） (2021-12-01T18:15:58Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳（メタデータ） (2021-10-09T13:56:48Z) - Evaluating State-of-the-Art Classification Models Against Bayes
Optimality [106.50867011164584]
正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。
われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
論文 参考訳（メタデータ） (2021-06-07T06:21:20Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - Identifying Statistical Bias in Dataset Replication [102.92137353938388]
モデルが(11-14%) の精度低下を示すImageNetデータセットの再現について検討した。
同定された統計バイアスを補正した後、推定3.6%のpm 1.5%の当初の11.7%のpm 1.0%の精度低下しか記録されていない。
論文 参考訳（メタデータ） (2020-05-19T17:48:32Z) - Symbolic Regression Driven by Training Data and Prior Knowledge [0.0]
シンボリック回帰では、分析モデルの探索は、トレーニングデータサンプルで観測された予測誤差によって純粋に駆動される。
本稿では、学習データと所望のモデルが示す特性の事前知識の両方によって駆動される多目的的シンボリック回帰手法を提案する。
論文 参考訳（メタデータ） (2020-04-24T19:15:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。