論文の概要: AQuA: A Benchmarking Tool for Label Quality Assessment

• arxiv url: http://arxiv.org/abs/2306.09467v1
• Date: Thu, 15 Jun 2023 19:42:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 15:56:02.510037
• Title: AQuA: A Benchmarking Tool for Label Quality Assessment
• Title（参考訳）: AQuA:ラベル品質評価のためのベンチマークツール
• Authors: Mononito Goswami, Vedant Sanil, Arjun Choudhry, Arvind Srinivasan, Chalisa Udompanyawit, Artur Dubrawski
• Abstract要約: 近年の研究では、機械学習モデルのトレーニングと評価に広く使用されているデータセットに、広範なラベル付けエラーがあることがわかった。 本稿では,ラベルノイズの存在下で機械学習を可能にする手法を厳格に評価するためのベンチマーク環境AQuAを提案する。
• 参考スコア（独自算出の注目度）: 14.817981303872088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning (ML) models are only as good as the data they are trained on. But recent studies have found datasets widely used to train and evaluate ML models, e.g. ImageNet, to have pervasive labeling errors. Erroneous labels on the train set hurt ML models' ability to generalize, and they impact evaluation and model selection using the test set. Consequently, learning in the presence of labeling errors is an active area of research, yet this field lacks a comprehensive benchmark to evaluate these methods. Most of these methods are evaluated on a few computer vision datasets with significant variance in the experimental protocols. With such a large pool of methods and inconsistent evaluation, it is also unclear how ML practitioners can choose the right models to assess label quality in their data. To this end, we propose a benchmarking environment AQuA to rigorously evaluate methods that enable machine learning in the presence of label noise. We also introduce a design space to delineate concrete design choices of label error detection models. We hope that our proposed design space and benchmark enable practitioners to choose the right tools to improve their label quality and that our benchmark enables objective and rigorous evaluation of machine learning tools facing mislabeled data.
• Abstract（参考訳）: 機械学習(ML)モデルは、トレーニングされているデータに匹敵するものではない。 しかし、最近の研究では、例えばImageNetのようなMLモデルのトレーニングと評価に広く使用されているデータセットが、広範囲なラベリングエラーを持つことがわかった。 電車のラベルが誤ってMLモデルの一般化能力が損なわれ、テストセットによる評価とモデル選択に影響を及ぼした。 したがって、ラベリングエラーの存在下での学習は活発な研究領域であるが、この分野にはこれらの手法を評価するための包括的なベンチマークが欠けている。 これらの手法の多くは、実験プロトコルにかなりのばらつきがある少数のコンピュータビジョンデータセットで評価される。 このような大規模なメソッドプールと一貫性のない評価により、ML実践者がデータ内のラベル品質を評価する適切なモデルをどのように選択できるかは明らかでない。 そこで本稿では,ラベルノイズの存在下での機械学習を可能にする手法を厳格に評価するベンチマーク環境AQuAを提案する。 また,ラベル誤り検出モデルの具体的設計選択を記述可能な設計空間を提案する。 提案する設計スペースとベンチマークによって,ラベル品質向上のための適切なツールの選択が可能になり,誤ラベルデータに直面する機械学習ツールの客観的かつ厳格な評価が可能になることを願っています。

関連論文リスト

• Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance [21.926934384262594]
  大きな言語モデル(LLM)は、アノテーションプロセスを強化する新しい機会を提供する。 合意、ラベルの品質、効率の点で、専門家、クラウドソース、LLMベースのアノテーションを比較します。 以上の結果から,ラベルエラーがかなり多く,修正されると,報告されたモデル性能が大幅に上向きに変化することが判明した。
  論文  参考訳（メタデータ） (2024-10-24T16:27:03Z)
• Estimating label quality and errors in semantic segmentation data via any model [19.84626033109009]
  ラベル品質を評価する手法について検討し、最も低いスコアのイメージを正しくラベル付けする可能性が低いことを示す。 これにより、高品質なトレーニング/評価データセットを保証するために、レビューするデータを優先順位付けすることが可能になる。
  論文  参考訳（メタデータ） (2023-07-11T07:29:09Z)
• Systematic analysis of the impact of label noise correction on ML Fairness [0.0]
  偏りのあるデータセットで学習したモデルの公平性を確保するため,ラベルノイズ補正手法の有効性を実証的に評価する手法を開発した。 その結果,ハイブリッドラベル雑音補正法は,予測性能と公平性との最良のトレードオフを実現することが示唆された。
  論文  参考訳（メタデータ） (2023-06-28T08:08:14Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Automated Labeling of German Chest X-Ray Radiology Reports using Deep Learning [50.591267188664666]
  本稿では,ルールベースのドイツ語CheXpertモデルによってラベル付けされたレポートに基づいて,ディープラーニングに基づくCheXpertラベル予測モデルを提案する。 その結果,3つのタスクすべてにおいて,ルールベースモデルを大幅に上回ったアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2023-06-09T16:08:35Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Learning to Detect Noisy Labels Using Model-Based Features [16.681748918518075]
  Select-Enhanced Noisy label Training (SENT)を提案する。 SENTは、データ駆動の柔軟性を保ちながら、メタ学習に依存しない。 自己学習とラベルの破損の設定の下で、強力なベースラインよりもパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2022-12-28T10:12:13Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Active Testing: Sample-Efficient Model Evaluation [39.200332879659456]
  サンプル効率のよいモデル評価のための新しいフレームワークであるactive testingを紹介する。 アクティブテストは、ラベルにテストポイントを慎重に選択することでこれに対処する。 我々は,推定器のばらつきを低減しつつ,バイアスの除去方法を示す。
  論文  参考訳（メタデータ） (2021-03-09T10:20:49Z)
• Deep k-NN for Noisy Labels [55.97221021252733]
  予備モデルのロジット層上での単純な$k$-nearest近傍フィルタリング手法により、ラベルの誤りを除去し、最近提案された多くの手法よりも正確なモデルを生成することができることを示す。
  論文  参考訳（メタデータ） (2020-04-26T05:15:36Z)
• Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
  我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。 提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-02-11T21:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。