論文の概要: Evaluating multiple models using labeled and unlabeled data

• arxiv url: http://arxiv.org/abs/2501.11866v1
• Date: Tue, 21 Jan 2025 03:47:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:26:02.790304
• Title: Evaluating multiple models using labeled and unlabeled data
• Title（参考訳）: ラベル付きおよびラベルなしデータを用いた複数モデルの評価
• Authors: Divya Shanmugam, Shuvom Sadhuka, Manish Raghavan, John Guttag, Bonnie Berger, Emma Pierson,
• Abstract要約: Semi-Supervised Model Evaluation (SSME) は、ラベル付きデータとラベルなしデータの両方を用いて機械学習分類器を評価する手法である。 本研究では,(1)医療,(2)コンテンツモデレーション,(3)分子特性予測,(4)画像アノテーションの4つの領域において,ラベル付きデータセットの取得が非現実的であることを示す。 その結果,SSMEは競合する手法よりも精度が高く,ラベル付きデータのみを用いた場合に比べて誤差が5.1倍,競合する手法では2.4倍減少することがわかった。
• 参考スコア（独自算出の注目度）: 8.174722982389259
• License:
• Abstract: It remains difficult to evaluate machine learning classifiers in the absence of a large, labeled dataset. While labeled data can be prohibitively expensive or impossible to obtain, unlabeled data is plentiful. Here, we introduce Semi-Supervised Model Evaluation (SSME), a method that uses both labeled and unlabeled data to evaluate machine learning classifiers. SSME is the first evaluation method to take advantage of the fact that: (i) there are frequently multiple classifiers for the same task, (ii) continuous classifier scores are often available for all classes, and (iii) unlabeled data is often far more plentiful than labeled data. The key idea is to use a semi-supervised mixture model to estimate the joint distribution of ground truth labels and classifier predictions. We can then use this model to estimate any metric that is a function of classifier scores and ground truth labels (e.g., accuracy or expected calibration error). We present experiments in four domains where obtaining large labeled datasets is often impractical: (1) healthcare, (2) content moderation, (3) molecular property prediction, and (4) image annotation. Our results demonstrate that SSME estimates performance more accurately than do competing methods, reducing error by 5.1x relative to using labeled data alone and 2.4x relative to the next best competing method. SSME also improves accuracy when evaluating performance across subsets of the test distribution (e.g., specific demographic subgroups) and when evaluating the performance of language models.
• Abstract（参考訳）: 大規模なラベル付きデータセットが存在しない場合、機械学習分類器を評価することは依然として困難である。 ラベル付きデータは違法に高価あるいは入手が不可能である可能性があるが、ラベルなしデータは豊富である。 本稿では、ラベル付きデータとラベルなしデータの両方を用いて機械学習分類器を評価する手法であるSemi-Supervised Model Evaluation (SSME)を紹介する。 SSMEは、その事実を利用する最初の評価方法である。 (i)同じタスクに対して、しばしば複数の分類器が存在する。 (ii) 連続型分類器のスコアは、全てのクラスでしばしば利用可能であり、 (iii)ラベルなしデータはラベル付きデータよりもはるかに豊富であることが多い。 鍵となる考え方は、半教師付き混合モデルを用いて、基底真理ラベルと分類器予測の合同分布を推定することである。 すると、このモデルを使って分類器のスコアと基底の真理ラベル(例えば、精度、または期待校正誤差)の関数である任意の計量を推定することができる。 本研究では,(1)医療,(2)コンテンツモデレーション,(3)分子特性予測,(4)画像アノテーションの4つの領域において,ラベル付きデータセットの取得が非現実的であることを示す。 その結果,SSMEは競合する手法よりも精度が高く,ラベル付きデータのみを用いた場合に比べて誤差が5.1倍,競合する手法では2.4倍減少することがわかった。 SSMEは、テスト分布のサブセット(例えば、特定の階層的なサブグループ)における性能評価や、言語モデルの性能評価の精度も向上する。

関連論文リスト

• Semi-Supervised Learning with Multiple Imputations on Non-Random Missing Labels [0.0]
  Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータの両方でアルゴリズムがトレーニングされるときに実装される。 本稿では,より高精度でバイアスの少ない複数の計算モデルを組み合わせるための2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T04:09:53Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Learned Label Aggregation for Weak Supervision [8.819582879892762]
  本稿では,ラベル付きデータを容易に生成するために,弱い監視信号を集約するデータプログラミング手法を提案する。 生成したラベルの質は、すべてのLFからノイズの多いラベルを集約し、基底真実のラベルを推測するラベル集約モデルに依存する。 合成されたデータを用いてモデルをトレーニングし、モデルに効果的なアーキテクチャを設計できることを示す。
  論文  参考訳（メタデータ） (2022-07-27T14:36:35Z)
• Learning from Multiple Unlabeled Datasets with Partial Risk Regularization [80.54710259664698]
  本稿では,クラスラベルを使わずに正確な分類器を学習することを目的とする。 まず、与えられたラベルのない集合から推定できる分類リスクの偏りのない推定器を導出する。 その結果、経験的リスクがトレーニング中に負になるにつれて、分類器が過度に適合する傾向があることが判明した。 実験により,本手法は,複数の未ラベル集合から学習する最先端の手法を効果的に緩和し,性能を向上することを示した。
  論文  参考訳（メタデータ） (2022-07-04T16:22:44Z)
• Multi-label Classification with Partial Annotations using Class-aware Selective Loss [14.3159150577502]
  大規模なマルチラベル分類データセットは、一般的に部分的に注釈付けされている。 部分的なラベリング問題を解析し、2つの重要なアイデアに基づいた解を提案する。 われわれの新しいアプローチにより、OpenImagesデータセット上で最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-10-21T08:10:55Z)
• Self-Trained One-class Classification for Unsupervised Anomaly Detection [56.35424872736276]
  異常検出(AD)は、製造から医療まで、さまざまな分野に応用されている。 本研究は、トレーニングデータ全体がラベル付けされておらず、正規サンプルと異常サンプルの両方を含む可能性のある、教師なしAD問題に焦点を当てる。 この問題に対処するため,データリファインメントによる堅牢な一級分類フレームワークを構築した。 本手法は6.3AUCと12.5AUCの平均精度で最先端の1クラス分類法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-11T01:36:08Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• Predicting Classification Accuracy When Adding New Unobserved Classes [8.325327265120283]
  そこで本研究では,より大規模で未観測のクラスに対して,期待する精度を推定するために,分類器の性能をどのように利用することができるかを検討する。 ニューラルネットワークに基づく頑健なアルゴリズム "CleaneX" を定式化し,任意のサイズのクラスに対して,そのような分類器の精度を推定する。
  論文  参考訳（メタデータ） (2020-10-28T14:37:25Z)
• Analysis of label noise in graph-based semi-supervised learning [2.4366811507669124]
  機械学習では、目に見えないデータに一般化できるモデルを監督するためにラベルを取得する必要がある。 多くの場合、私たちのデータのほとんどはラベル付けされていない。 半教師付き学習(SSL)は、ラベルと入力データ分布の関係について強い仮定をすることで緩和する。
  論文  参考訳（メタデータ） (2020-09-27T22:13:20Z)
• Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
  我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。 提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-02-11T21:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。