論文の概要: Exploring the Influence of Label Aggregation on Minority Voices: Implications for Dataset Bias and Model Training

• arxiv url: http://arxiv.org/abs/2412.04025v1
• Date: Thu, 05 Dec 2024 10:00:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:41:28.256911
• Title: Exploring the Influence of Label Aggregation on Minority Voices: Implications for Dataset Bias and Model Training
• Title（参考訳）: ラベル集約がマイノリティ音声に及ぼす影響を探る:データセットバイアスとモデル学習への応用
• Authors: Mugdha Pandya, Nafise Sadat Moosavi, Diana Maynard,
• Abstract要約: 性差別検出における標準ラベル集約戦略が少数意見表現に与える影響について検討した。 マイノリティアノテーションの品質と価値を調べた上で,ゴールドラベルのクラス分布に与える影響について検討した。 本稿では,各手法が導入する潜在的なバイアスとそのモデルによる増幅方法について論じる。
• 参考スコア（独自算出の注目度）: 10.00533358414859
• License:
• Abstract: Resolving disagreement in manual annotation typically consists of removing unreliable annotators and using a label aggregation strategy such as majority vote or expert opinion to resolve disagreement. These may have the side-effect of silencing or under-representing minority but equally valid opinions. In this paper, we study the impact of standard label aggregation strategies on minority opinion representation in sexism detection. We investigate the quality and value of minority annotations, and then examine their effect on the class distributions in gold labels, as well as how this affects the behaviour of models trained on the resulting datasets. Finally, we discuss the potential biases introduced by each method and how they can be amplified by the models.
• Abstract（参考訳）: 手動の注釈における意見の不一致の解消は、典型的には信頼できない注釈を除去し、意見の不一致を解決するために多数決や専門家の意見などのラベル集約戦略を使用する。 これらはサイレンシングの副作用や少数派を軽視するが、同等に妥当な意見を持っている。 本稿では,性差別検出における標準ラベルアグリゲーション戦略が少数意見表現に与える影響について検討する。 マイノリティアノテーションの品質と価値を調べた上で,ゴールドラベルのクラス分布に対する影響と,結果として得られたデータセットに基づいてトレーニングしたモデルの振る舞いに与える影響について検討した。 最後に、各手法によって導入された潜在的なバイアスと、モデルによってどのように増幅されるかについて議論する。

関連論文リスト

• Reducing annotator bias by belief elicitation [3.0040661953201475]
  アノテーションやインスタンスの数を必要とせずに、アノテーションのバイアスを処理するための簡単な方法を提案する。 我々は、アノテータが他のアノテータのインスタンスに対する判断に対する信念について、これらの信念が判断よりもより代表的なラベルを提供するかもしれないという仮説の下で尋ねる。 その結果、アノテータの2つのグループ間の体系的な差異として定義されるバイアスは、判断の代わりに信念を求める際に一貫して減少することが示された。
  論文  参考訳（メタデータ） (2024-10-21T07:44:01Z)
• Don't Blame the Data, Blame the Model: Understanding Noise and Bias When Learning from Subjective Annotations [9.221081428960318]
  集約ラベルのみを提供するモデルでは,高分散データインスタンスに対する信頼性が低いことを示す。 本実験は, 高分解率インスタンスに対する信頼性の向上を示す。
  論文  参考訳（メタデータ） (2024-03-06T22:30:04Z)
• Adversarial Reweighting Guided by Wasserstein Distance for Bias Mitigation [24.160692009892088]
  データ中のマイノリティの下位表現は、学習中のサブポピュレーションの異なる扱いを困難にしている。 本稿では,このような表現バイアスに対処する新たな逆方向再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2023-11-21T15:46:11Z)
• Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks [9.110872603799839]
  監督された分類は、人間によって注釈付けされたデータセットに大きく依存する。 毒性分類などの主観的なタスクでは、これらのアノテーションはラッカー間での合意が低くなることが多い。 本研究では、主観的分類タスクのためのtextbfAnnotator Awares for Texts (AART) を提案する。
  論文  参考訳（メタデータ） (2023-11-16T10:18:32Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Bridging the Gap between Model Explanations in Partially Annotated Multi-label Classification [85.76130799062379]
  偽陰性ラベルがモデルの説明にどのように影響するかを考察する。 本稿では,部分ラベルで学習したモデルの属性スコアを向上し,その説明をフルラベルで学習したモデルと類似させる。
  論文  参考訳（メタデータ） (2023-04-04T14:00:59Z)
• Few-shot Forgery Detection via Guided Adversarial Interpolation [56.59499187594308]
  既存の偽造検出手法は、見知らぬ新しい偽造手法に適用した場合、大幅な性能低下に悩まされる。 本稿では,数発の偽造検出問題を克服するために,GAI(Guid Adversarial Interpolation)を提案する。 我々の手法は、多数派と少数派の偽造アプローチの選択に対して堅牢であることが検証されている。
  論文  参考訳（メタデータ） (2022-04-12T16:05:10Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)
• Measuring Model Biases in the Absence of Ground Truth [2.802021236064919]
  根拠となる真理ラベルに依存しない公平さと偏見の測定に新たなフレーミングを導入する。 代わりに、ある画像のモデル予測を、自然言語処理(NLP)で使用される「言葉の袋」アプローチに類似したラベルの集合として扱う。 異なる相関指標の統計的性質(特に正規化)が,「生成バイアス」が検出されるラベルの異なる集合にどのようにつながるかを実証する。
  論文  参考訳（メタデータ） (2021-03-05T01:23:22Z)
• Debiased Contrastive Learning [64.98602526764599]
  我々は,同ラベルデータポイントのサンプリングを補正する,偏りのあるコントラスト目的の開発を行う。 実証的に、提案する目的は、視覚、言語、強化学習ベンチマークにおける表現学習の最先端を一貫して上回る。
  論文  参考訳（メタデータ） (2020-07-01T04:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。