論文の概要: Quantifying and mitigating the impact of label errors on model disparity metrics

• arxiv url: http://arxiv.org/abs/2310.02533v1
• Date: Wed, 4 Oct 2023 02:18:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 16:52:11.357642
• Title: Quantifying and mitigating the impact of label errors on model disparity metrics
• Title（参考訳）: ラベル誤差がモデル格差指標に及ぼす影響の定量化と緩和
• Authors: Julius Adebayo, Melissa Hall, Bowen Yu, Bobbie Chern
• Abstract要約: 本研究では,ラベル誤差がモデルの不均一度指標に与える影響について検討する。 グループキャリブレーションやその他のメトリクスは、トレインタイムやテストタイムのラベルエラーに敏感である。 本稿では,モデルの群差尺度に対するトレーニング入力ラベルの影響を推定する手法を提案する。
• 参考スコア（独自算出の注目度）: 14.225423850241675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Errors in labels obtained via human annotation adversely affect a model's performance. Existing approaches propose ways to mitigate the effect of label error on a model's downstream accuracy, yet little is known about its impact on a model's disparity metrics. Here we study the effect of label error on a model's disparity metrics. We empirically characterize how varying levels of label error, in both training and test data, affect these disparity metrics. We find that group calibration and other metrics are sensitive to train-time and test-time label error -- particularly for minority groups. This disparate effect persists even for models trained with noise-aware algorithms. To mitigate the impact of training-time label error, we present an approach to estimate the influence of a training input's label on a model's group disparity metric. We empirically assess the proposed approach on a variety of datasets and find significant improvement, compared to alternative approaches, in identifying training inputs that improve a model's disparity metric. We complement the approach with an automatic relabel-and-finetune scheme that produces updated models with, provably, improved group calibration error.
• Abstract（参考訳）: ヒューマンアノテーションによって得られるラベルのエラーは、モデルのパフォーマンスに悪影響を及ぼす。 既存のアプローチでは、ラベルエラーがモデル下流の精度に与える影響を軽減する方法が提案されているが、モデルが異なるメトリクスに与える影響についてはほとんど分かっていない。 本稿では,ラベル誤りがモデルのばらつき指標に及ぼす影響について検討する。 トレーニングデータとテストデータの両方において、ラベルエラーのさまざまなレベルが、これらの格差メトリクスにどのように影響するかを実証的に特徴付けます。 グループキャリブレーションやその他のメトリクスは、特に少数派のグループでは、トレインタイムやテストタイムのラベルエラーに敏感です。 この異なる効果は、ノイズ認識アルゴリズムで訓練されたモデルでも持続する。 学習時間ラベル誤りの影響を軽減するために,トレーニング入力ラベルがモデルの集団不一致指標に与える影響を推定する手法を提案する。 我々は,様々なデータセットに対する提案手法を実証的に評価し,モデルの異質性指標を改善するトレーニング入力の識別において,代替手法と比較して有意な改善を見出した。 提案手法は,グループキャリブレーション誤差が向上した更新モデルを生成する自動レラベル・アンド・ファインチューン方式で補完する。

関連論文リスト

• Fair-OBNC: Correcting Label Noise for Fairer Datasets [9.427445881721814]
  トレーニングデータのバイアスは ラベルノイズと関連しています このようなバイアスデータに基づいてトレーニングされたモデルは、センシティブな情報に関してバイアスを永続的に、あるいは悪化させる可能性がある。 公平性を考慮したラベルノイズ補正法であるFair-OBNCを提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:18:18Z)
• Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
  半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。 半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。 本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:33:53Z)
• Improving Label Error Detection and Elimination with Uncertainty Quantification [5.184615738004059]
  我々は不確実な量子化に基づくラベル誤り検出(UQ-LED)のための新しいモデル認識アルゴリズムを開発した。 我々のUQ-LEDアルゴリズムは、ラベルエラーの同定において最先端の信頼性学習より優れている。 本稿では,現実的なクラス依存ラベルエラーを合成的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-05-15T15:17:52Z)
• Systematic analysis of the impact of label noise correction on ML Fairness [0.0]
  偏りのあるデータセットで学習したモデルの公平性を確保するため,ラベルノイズ補正手法の有効性を実証的に評価する手法を開発した。 その結果,ハイブリッドラベル雑音補正法は,予測性能と公平性との最良のトレードオフを実現することが示唆された。
  論文  参考訳（メタデータ） (2023-06-28T08:08:14Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Rethinking Precision of Pseudo Label: Test-Time Adaptation via Complementary Learning [10.396596055773012]
  本稿では,テスト時間適応性を高めるための新しい補完学習手法を提案する。 テスト時適応タスクでは、ソースドメインからの情報は通常利用できない。 我々は,相補ラベルのリスク関数がバニラ損失式と一致することを強調した。
  論文  参考訳（メタデータ） (2023-01-15T03:36:33Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• Pseudo-Label Noise Suppression Techniques for Semi-Supervised Semantic Segmentation [21.163070161951868]
  半消費学習(SSL)は、教師なしデータをトレーニングに組み込むことで、大きなラベル付きデータセットの必要性を減らすことができる。 現在のSSLアプローチでは、初期教師付きトレーニングモデルを使用して、擬似ラベルと呼ばれる未ラベル画像の予測を生成する。 擬似ラベルノイズと誤りを3つのメカニズムで制御する。
  論文  参考訳（メタデータ） (2022-10-19T09:46:27Z)
• Active Learning by Feature Mixing [52.16150629234465]
  本稿では,ALFA-Mixと呼ばれるバッチ能動学習手法を提案する。 予測の不整合を求めることにより,不整合な特徴を持つインスタンスを同定する。 これらの予測の不整合は、モデルが未認識のインスタンスで認識できない特徴を発見するのに役立ちます。
  論文  参考訳（メタデータ） (2022-03-14T12:20:54Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。