論文の概要: Quantifying and mitigating the impact of label errors on model disparity
metrics
- arxiv url: http://arxiv.org/abs/2310.02533v1
- Date: Wed, 4 Oct 2023 02:18:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 16:52:11.357642
- Title: Quantifying and mitigating the impact of label errors on model disparity
metrics
- Title(参考訳): ラベル誤差がモデル格差指標に及ぼす影響の定量化と緩和
- Authors: Julius Adebayo, Melissa Hall, Bowen Yu, Bobbie Chern
- Abstract要約: 本研究では,ラベル誤差がモデルの不均一度指標に与える影響について検討する。
グループキャリブレーションやその他のメトリクスは、トレインタイムやテストタイムのラベルエラーに敏感である。
本稿では,モデルの群差尺度に対するトレーニング入力ラベルの影響を推定する手法を提案する。
- 参考スコア(独自算出の注目度): 14.225423850241675
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Errors in labels obtained via human annotation adversely affect a model's
performance. Existing approaches propose ways to mitigate the effect of label
error on a model's downstream accuracy, yet little is known about its impact on
a model's disparity metrics. Here we study the effect of label error on a
model's disparity metrics. We empirically characterize how varying levels of
label error, in both training and test data, affect these disparity metrics. We
find that group calibration and other metrics are sensitive to train-time and
test-time label error -- particularly for minority groups. This disparate
effect persists even for models trained with noise-aware algorithms. To
mitigate the impact of training-time label error, we present an approach to
estimate the influence of a training input's label on a model's group disparity
metric. We empirically assess the proposed approach on a variety of datasets
and find significant improvement, compared to alternative approaches, in
identifying training inputs that improve a model's disparity metric. We
complement the approach with an automatic relabel-and-finetune scheme that
produces updated models with, provably, improved group calibration error.
- Abstract(参考訳): ヒューマンアノテーションによって得られるラベルのエラーは、モデルのパフォーマンスに悪影響を及ぼす。
既存のアプローチでは、ラベルエラーがモデル下流の精度に与える影響を軽減する方法が提案されているが、モデルが異なるメトリクスに与える影響についてはほとんど分かっていない。
本稿では,ラベル誤りがモデルのばらつき指標に及ぼす影響について検討する。
トレーニングデータとテストデータの両方において、ラベルエラーのさまざまなレベルが、これらの格差メトリクスにどのように影響するかを実証的に特徴付けます。
グループキャリブレーションやその他のメトリクスは、特に少数派のグループでは、トレインタイムやテストタイムのラベルエラーに敏感です。
この異なる効果は、ノイズ認識アルゴリズムで訓練されたモデルでも持続する。
学習時間ラベル誤りの影響を軽減するために,トレーニング入力ラベルがモデルの集団不一致指標に与える影響を推定する手法を提案する。
我々は,様々なデータセットに対する提案手法を実証的に評価し,モデルの異質性指標を改善するトレーニング入力の識別において,代替手法と比較して有意な改善を見出した。
提案手法は,グループキャリブレーション誤差が向上した更新モデルを生成する自動レラベル・アンド・ファインチューン方式で補完する。
関連論文リスト
- Systematic analysis of the impact of label noise correction on ML
Fairness [0.0]
偏りのあるデータセットで学習したモデルの公平性を確保するため,ラベルノイズ補正手法の有効性を実証的に評価する手法を開発した。
その結果,ハイブリッドラベル雑音補正法は,予測性能と公平性との最良のトレードオフを実現することが示唆された。
論文 参考訳(メタデータ) (2023-06-28T08:08:14Z) - Controlling Learned Effects to Reduce Spurious Correlations in Text
Classifiers [6.662800021628275]
本稿では,特徴の学習効果をモデルで予測し,特徴がラベルに与える影響を推定するアルゴリズムを提案する。
毒性とIMDBレビューデータセットについて、提案アルゴリズムは、突発的な相関を最小化し、マイノリティグループを改善する。
論文 参考訳(メタデータ) (2023-05-26T12:15:54Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳(メタデータ) (2023-01-26T03:53:25Z) - Rethinking Precision of Pseudo Label: Test-Time Adaptation via
Complementary Learning [10.396596055773012]
本稿では,テスト時間適応性を高めるための新しい補完学習手法を提案する。
テスト時適応タスクでは、ソースドメインからの情報は通常利用できない。
我々は,相補ラベルのリスク関数がバニラ損失式と一致することを強調した。
論文 参考訳(メタデータ) (2023-01-15T03:36:33Z) - Dist-PU: Positive-Unlabeled Learning from a Label Distribution
Perspective [89.5370481649529]
本稿では,PU学習のためのラベル分布視点を提案する。
そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。
提案手法の有効性を3つのベンチマークデータセットで検証した。
論文 参考訳(メタデータ) (2022-12-06T07:38:29Z) - Pseudo-Label Noise Suppression Techniques for Semi-Supervised Semantic
Segmentation [21.163070161951868]
半消費学習(SSL)は、教師なしデータをトレーニングに組み込むことで、大きなラベル付きデータセットの必要性を減らすことができる。
現在のSSLアプローチでは、初期教師付きトレーニングモデルを使用して、擬似ラベルと呼ばれる未ラベル画像の予測を生成する。
擬似ラベルノイズと誤りを3つのメカニズムで制御する。
論文 参考訳(メタデータ) (2022-10-19T09:46:27Z) - Active Learning by Feature Mixing [52.16150629234465]
本稿では,ALFA-Mixと呼ばれるバッチ能動学習手法を提案する。
予測の不整合を求めることにより,不整合な特徴を持つインスタンスを同定する。
これらの予測の不整合は、モデルが未認識のインスタンスで認識できない特徴を発見するのに役立ちます。
論文 参考訳(メタデータ) (2022-03-14T12:20:54Z) - Learning with Proper Partial Labels [87.65718705642819]
部分ラベル学習は、不正確なラベルを持つ弱い教師付き学習の一種である。
この適切な部分ラベル学習フレームワークには,従来の部分ラベル学習設定が数多く含まれていることを示す。
次に、分類リスクの統一的非バイアス推定器を導出する。
論文 参考訳(メタデータ) (2021-12-23T01:37:03Z) - Disentangling Sampling and Labeling Bias for Learning in Large-Output
Spaces [64.23172847182109]
異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。
すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
論文 参考訳(メタデータ) (2021-05-12T15:40:13Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳(メタデータ) (2020-12-16T04:09:04Z) - Mitigating Class Boundary Label Uncertainty to Reduce Both Model Bias
and Variance [4.563176550691304]
トレーニングデータラベルの不正確性と不確実性に対処する新しい手法について検討する。
本手法は,トレーニングセットのポイントワイドラベルの不確かさを推定することにより,バイアスと分散の両面を低減できる。
論文 参考訳(メタデータ) (2020-02-23T18:24:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。