論文の概要: On Efficient and Statistical Quality Estimation for Data Annotation

• arxiv url: http://arxiv.org/abs/2405.11919v1
• Date: Mon, 20 May 2024 09:57:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 13:34:30.812342
• Title: On Efficient and Statistical Quality Estimation for Data Annotation
• Title（参考訳）: データアノテーションの効率的・統計的品質推定法について
• Authors: Jan-Christoph Klie, Rahul Nair, Juan Haladjian, Marc Kirchner,
• Abstract要約: アノテーション付きデータセットは、教師付き機械学習モデルをトレーニング、評価、比較、生産化するための重要な要素である。 品質評価は、専門家が手動でインスタンスを正しくも正しくもラベル付けすることで行われることが多い。 しかし、小さなサンプルサイズに基づく推定は、誤り率の不正確な値につながる可能性がある。 また, 受入サンプリングは, 同じ統計的保証を提供しながら, 必要なサンプルサイズを最大50%削減できることを示した。
• 参考スコア（独自算出の注目度）: 11.216738303463751
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Annotated datasets are an essential ingredient to train, evaluate, compare and productionalize supervised machine learning models. It is therefore imperative that annotations are of high quality. For their creation, good quality management and thereby reliable quality estimates are needed. Then, if quality is insufficient during the annotation process, rectifying measures can be taken to improve it. Quality estimation is often performed by having experts manually label instances as correct or incorrect. But checking all annotated instances tends to be expensive. Therefore, in practice, usually only subsets are inspected; sizes are chosen mostly without justification or regard to statistical power and more often than not, are relatively small. Basing estimates on small sample sizes, however, can lead to imprecise values for the error rate. Using unnecessarily large sample sizes costs money that could be better spent, for instance on more annotations. Therefore, we first describe in detail how to use confidence intervals for finding the minimal sample size needed to estimate the annotation error rate. Then, we propose applying acceptance sampling as an alternative to error rate estimation We show that acceptance sampling can reduce the required sample sizes up to 50% while providing the same statistical guarantees.
• Abstract（参考訳）: アノテーション付きデータセットは、教師付き機械学習モデルをトレーニング、評価、比較、生産化するための重要な要素である。 したがって、アノテーションが高品質であることは必須である。 彼らの創造のためには、優れた品質管理とそれによる信頼性の高い品質見積が必要である。 そして、アノテーション処理中に品質が不十分な場合には、修正措置を講じて改善することができる。 品質評価は、専門家が手動でインスタンスを正しくも正しくもラベル付けすることで行われることが多い。 しかし、アノテーション付きのインスタンスをチェックするのはコストがかかる傾向にある。 したがって、実際には、通常はサブセットのみを検査するが、大部分は正当化や統計的なパワーを考慮せずに選択され、多くの場合は比較的小さい。 しかし、小さなサンプルサイズに基づく推定は、誤り率の不正確な値につながる可能性がある。 不要な大規模なサンプルサイズの使用には、例えばアノテーションの追加など、もっと多くの費用がかかる可能性がある。 そこで我々はまず,アノテーションの誤り率を推定するのに必要となる最小限のサンプルサイズを見つけるために,信頼区間の使い方を詳細に記述する。 次に, 誤り率推定の代替として, 受入サンプリングを適用することで, 同じ統計的保証を提供しながら, 必要なサンプルサイズを最大50%削減できることを示す。

関連論文リスト

• Large Language Models Must Be Taught to Know What They Don't Know [97.90008709512921]
  正解と誤解の小さなデータセットを微調整すると、高い一般化と計算オーバーヘッドの少ない不確実性推定が得られることを示す。 また,確実な不確実性推定を可能にする機構についても検討し,多くのモデルを汎用的不確実性推定器として利用することができることを示した。
  論文  参考訳（メタデータ） (2024-06-12T16:41:31Z)
• Training Normalizing Flows with the Precision-Recall Divergence [73.92251251511199]
  特定精度リコールトレードオフを達成することは、em PR-divergencesと呼ぶ家族からの-divergencesの最小化に相当することを示す。 本稿では, 正規化フローをトレーニングして, 偏差を最小化し, 特に, 所与の高精度リコールトレードオフを実現する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-01T17:46:47Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• Newer is not always better: Rethinking transferability metrics, their peculiarities, stability and performance [5.650647159993238]
  小さなカスタマイズされたデータセット上で、大規模で事前訓練された画像と言語モデルの微調整が人気を集めている。 共分散推定における統計的問題により,Hスコアの性能が低下することが示唆された。 そこで我々は,そのような設定における相対的精度に対する相関性能を補正し,評価することを推奨する。
  論文  参考訳（メタデータ） (2021-10-13T17:24:12Z)
• Low-Shot Validation: Active Importance Sampling for Estimating Classifier Performance on Rare Categories [47.050853657721596]
  限定ラベル付きトレーニングデータでトレーニングされた機械学習モデルでは、全体のアノテーションコストを削減する上で、バリデーションが主要なボトルネックになる。 稀なカテゴリのバイナリ分類器のFスコアを正確に推定する統計的検証アルゴリズムを提案する。 特に、100個のラベルを用いて0.005の差でモデルF1のスコアを推定できる。
  論文  参考訳（メタデータ） (2021-09-13T06:01:16Z)
• Identifying Wrongly Predicted Samples: A Method for Active Learning [6.976600214375139]
  本稿では,不確実性を超えた単純なサンプル選択基準を提案する。 予測されたサンプルを正しく識別するために、最先端の結果とより良いレートを示す。
  論文  参考訳（メタデータ） (2020-10-14T09:00:42Z)
• Predicting the Accuracy of a Few-Shot Classifier [3.609538870261841]
  まず,一般化性能の変動要因を解析する。 我々は,検討された分類器の一般化能力と実証的に相関する合理的な尺度を提案する。
  論文  参考訳（メタデータ） (2020-07-08T16:31:28Z)
• Minority Class Oversampling for Tabular Data with Deep Generative Models [4.976007156860967]
  オーバーサンプリングによる非バランスな分類タスクの性能向上を図るために, 深層生成モデルを用いて現実的なサンプルを提供する能力について検討した。 実験の結果,サンプリング手法は品質に影響を与えないが,実行環境は様々であることがわかった。 また、性能指標の点でも改善が重要であるが、絶対的な点では小さな点がしばしば見られる。
  論文  参考訳（メタデータ） (2020-05-07T21:35:57Z)
• TraDE: Transformers for Density Estimation [101.20137732920718]
  TraDEは自己回帰密度推定のための自己アテンションに基づくアーキテクチャである。 本稿では, 生成したサンプルを用いた回帰, 分布外検出, トレーニングデータにおける雑音に対する頑健性などのタスクについて述べる。
  論文  参考訳（メタデータ） (2020-04-06T07:32:51Z)
• Information-Theoretic Probing with Minimum Description Length [74.29846942213445]
  我々は,最小記述長 (MDL) を持つ情報理論探索法である標準プローブの代替案を提案する。 MDL Probingでは、ラベルを予測するためのプローブのトレーニングが、データを効果的に送信するための教えとして再キャストされる。 これらの手法は結果に一致し、標準プローブよりも情報的かつ安定であることを示す。
  論文  参考訳（メタデータ） (2020-03-27T09:35:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。