論文の概要: Correcting Annotator Bias in Training Data: Population-Aligned Instance Replication (PAIR)

• arxiv url: http://arxiv.org/abs/2501.06826v1
• Date: Sun, 12 Jan 2025 14:39:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:23:23.180584
• Title: Correcting Annotator Bias in Training Data: Population-Aligned Instance Replication (PAIR)
• Title（参考訳）: トレーニングデータにおけるアノテーションバイアスの補正:人口適応型インスタンス複製(PAIR)
• Authors: Stephanie Eckman, Bolei Ma, Christoph Kern, Rob Chew, Barbara Plank, Frauke Kreuter,
• Abstract要約: クラウドソースラベルでトレーニングされたモデルは、アノテータプールが代表的でない場合、より広い人口ビューを反映しない可能性がある。 本稿では,このバイアスに統計的に対処する手法として,PAIR(Population-Aligned Instance Replication)を提案する。
• 参考スコア（独自算出の注目度）: 24.280324949484406
• License:
• Abstract: Models trained on crowdsourced labels may not reflect broader population views when annotator pools are not representative. Since collecting representative labels is challenging, we propose Population-Aligned Instance Replication (PAIR), a method to address this bias through statistical adjustment. Using a simulation study of hate speech and offensive language detection, we create two types of annotators with different labeling tendencies and generate datasets with varying proportions of the types. Models trained on unbalanced annotator pools show poor calibration compared to those trained on representative data. However, PAIR, which duplicates labels from underrepresented annotator groups to match population proportions, significantly reduces bias without requiring new data collection. These results suggest statistical techniques from survey research can help align model training with target populations even when representative annotator pools are unavailable. We conclude with three practical recommendations for improving training data quality.
• Abstract（参考訳）: クラウドソースラベルでトレーニングされたモデルは、アノテータプールが代表的でない場合、より広い人口ビューを反映しない可能性がある。 代表ラベルの収集は困難であるため,統計的調整により,このバイアスに対処する手法であるPAIR(Population-Aligned Instance Replication)を提案する。 ヘイトスピーチと攻撃的言語検出のシミュレーション研究を用いて,ラベル付け傾向の異なる2種類のアノテータを作成し,異なる比率のデータセットを生成する。 アンバランスなアノテータプールでトレーニングされたモデルは、代表データでトレーニングされたモデルと比べてキャリブレーションが悪い。 しかしながら、表現不足のアノテータグループからラベルを複製して人口比率に適合させるPAIRは、新しいデータ収集を必要とせずにバイアスを著しく低減する。 これらの結果は,代表的なアノテータプールが利用できない場合でも,モデルトレーニングを対象人口と整合させることが可能であることを示唆している。 データ品質のトレーニングを改善するための3つの推奨事項をまとめる。

関連論文リスト

• Dataset Representativeness and Downstream Task Fairness [24.570493924073524]
  そのデータセット上で訓練された分類器のデータセット代表性とグループフェアネスとの間に自然な緊張関係があることを実証する。 また、過度にサンプル化されていない群は、それらの群に偏りを示す分類器を生じる可能性があることも見出した。
  論文  参考訳（メタデータ） (2024-06-28T18:11:16Z)
• Data Debiasing with Datamodels (D3M): Improving Subgroup Robustness via Data Selection [80.85902083005237]
  データモデルによるデータデバイアス(Data Debiasing with Datamodels, D3M)は、マイノリティグループにおけるモデルの障害を駆動する特定のトレーニング例を分離し、削除するデバイアス(debiasing)アプローチである。
  論文  参考訳（メタデータ） (2024-06-24T17:51:01Z)
• Unsupervised Concept Discovery Mitigates Spurious Correlations [45.48778210340187]
  トレーニングデータにおける急激な相関関係のモデルはしばしば脆い予測を発生させ、意図しないバイアスを導入する。 本稿では,教師なし対象中心学習と突発的相関の緩和の新たな関連性を確立する。 コバルト(CoBalT)は、サブグループの人間のラベル付けを必要とせず、効果的に素早い相関を緩和する概念バランス技術である。
  論文  参考訳（メタデータ） (2024-02-20T20:48:00Z)
• Debiased Sample Selection for Combating Noisy Labels [24.296451733127956]
  サンプル選択におけるバイアス学習のためのnoIse-Tolerant Expert Model (ITEM)を提案する。 具体的には、トレーニングバイアスを軽減するために、複数の専門家と統合した堅牢なネットワークアーキテクチャを設計します。 2つのクラス識別型ミニバッチの混合によるトレーニングにより、モデルが不均衡なトレーニングセットの効果を緩和する。
  論文  参考訳（メタデータ） (2024-01-24T10:37:28Z)
• IBADR: an Iterative Bias-Aware Dataset Refinement Framework for Debiasing NLU models [52.03761198830643]
  IBADR(Iterative Bias-Aware dataset Refinement framework)を提案する。 まず、プール内のサンプルのバイアス度を定量化するために浅いモデルを訓練する。 次に、各サンプルにバイアス度を表すバイアス指標をペアにして、これらの拡張サンプルを使用してサンプルジェネレータを訓練する。 このようにして、このジェネレータは、バイアスインジケータとサンプルの対応関係を効果的に学習することができる。
  論文  参考訳（メタデータ） (2023-11-01T04:50:38Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Semi-Supervised Models via Data Augmentationfor Classifying Interactive Affective Responses [85.04362095899656]
  本稿では、対話型感情応答を分類する半教師付きテキスト分類システムSMDA(Data Augmentation)を提案する。 ラベル付き文に対しては,ラベル分布の均一化と学習過程における教師付き損失の計算のためにデータ拡張を行った。 ラベルなし文に対しては,ラベルなし文に対する低エントロピー予測を擬似ラベルとして検討した。
  論文  参考訳（メタデータ） (2020-04-23T05:02:31Z)
• Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
  本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。 我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。 カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
  論文  参考訳（メタデータ） (2020-04-05T12:36:06Z)
• Neighborhood-based Pooling for Population-level Label Distribution Learning [5.790608871289107]
  監視された機械学習は、しばしば人間の注釈付きデータを必要とする。 人口レベルのラベル分布学習は、人間のアノテータの集団の意見のサンプルとして、各データ項目に対するアノテーションの収集を扱う。 本稿では,サンプリングサイズを考慮したPLDLのためのアルゴリズムフレームワークと新しい統計的テストを提案する。
  論文  参考訳（メタデータ） (2020-03-16T18:52:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。