論文の概要: Automatic Classifiers Underdetect Emotions Expressed by Men
- arxiv url: http://arxiv.org/abs/2601.04730v1
- Date: Thu, 08 Jan 2026 08:52:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-09 17:01:53.118989
- Title: Automatic Classifiers Underdetect Emotions Expressed by Men
- Title(参考訳): 男性によって表現される感情を抽出する自動分類器
- Authors: Ivan Smirnov, Segun T. Aroyehun, Paul Plener, David Garcia,
- Abstract要約: 感情検出における性別バイアスを調査するために、100万以上の自己注釈付き投稿のユニークな大規模データセットを使用します。
男性によって書かれたテキストのエラー率は、女性によって書かれたテキストよりも一貫して高いことがわかりました。
- 参考スコア(独自算出の注目度): 0.16544456899192797
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The widespread adoption of automatic sentiment and emotion classifiers makes it important to ensure that these tools perform reliably across different populations. Yet their reliability is typically assessed using benchmarks that rely on third-party annotators rather than the individuals experiencing the emotions themselves, potentially concealing systematic biases. In this paper, we use a unique, large-scale dataset of more than one million self-annotated posts and a pre-registered research design to investigate gender biases in emotion detection across 414 combinations of models and emotion-related classes. We find that across different types of automatic classifiers and various underlying emotions, error rates are consistently higher for texts authored by men compared to those authored by women. We quantify how this bias could affect results in downstream applications and show that current machine learning tools, including large language models, should be applied with caution when the gender composition of a sample is not known or variable. Our findings demonstrate that sentiment analysis is not yet a solved problem, especially in ensuring equitable model behaviour across demographic groups.
- Abstract(参考訳): 自動感情分類器や感情分類器が広く採用されているため、これらのツールが様々な集団で確実に機能することが重要である。
しかし、その信頼性は一般的に、感情を経験する個人ではなく、サードパーティのアノテータに依存するベンチマークを用いて評価され、体系的なバイアスを隠蔽する可能性がある。
本稿では、100万以上の自己注釈付き投稿からなる大規模データセットと、事前登録された研究設計を用いて、414のモデルと感情関連クラスを組み合わせて、感情検出における性別バイアスを調査する。
様々な種類の自動分類器や、様々な感情にまたがって、男性によって書かれたテキストの誤り率は、女性によって書かれたテキストよりも一貫して高いことがわかった。
このバイアスが下流のアプリケーションでどのように影響するかを定量化し、サンプルの性別構成が分かっていない場合、大きな言語モデルを含む現在の機械学習ツールが慎重に適用されるべきであることを示す。
以上の結果から,感情分析はまだ解決された問題ではないことが示唆された。
関連論文リスト
- PersonaDrift: A Benchmark for Temporal Anomaly Detection in Language-Based Dementia Monitoring [0.9668407688201359]
PersonaDriftは、日々のコミュニケーションの進行的な変化を検出するための機械学習と統計的手法を評価するために設計されたベンチマークである。
このベンチマークは、介護者が特に有能であると強調した2種類の縦方向の変化に焦点を当てている。
予備的な結果は, ベースライン変動率の低いユーザにおいて, 単純な統計モデルを用いて, 平坦感が検出できることを示唆している。
論文 参考訳(メタデータ) (2025-11-20T15:15:00Z) - EMO-Debias: Benchmarking Gender Debiasing Techniques in Multi-Label Speech Emotion Recognition [49.27067541740956]
EMO-Debiasは、マルチラベルSERに適用された13のデバイアス手法の大規模比較である。
本研究は, 事前処理, 正規化, 逆学習, バイアス学習者, 分散的ロバストな最適化といった手法を含む。
本分析は公平性と正確性の間のトレードオフを定量化し,どのアプローチが一貫して性差を減少させるのかを同定する。
論文 参考訳(メタデータ) (2025-06-05T05:48:31Z) - Gender Encoding Patterns in Pretrained Language Model Representations [17.101242741559428]
プレトレーニング言語モデル(PLM)におけるジェンダーバイアスは、社会的および倫理的課題を生じさせる。
本研究では,ジェンダーバイアスがエンコーダベースのアーキテクチャでどのようにエンコードされているかを分析するための情報理論的アプローチを採用する。
論文 参考訳(メタデータ) (2025-03-09T19:17:46Z) - Blind Men and the Elephant: Diverse Perspectives on Gender Stereotypes in Benchmark Datasets [12.798832545154271]
本稿では,内在型ステレオタイプベンチマークの不整合について検討する。
StereoSetとCrowS-Pairsをケーススタディとして,データ分布がベンチマーク結果に与える影響を検討した。
論文 参考訳(メタデータ) (2025-01-02T09:40:31Z) - Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。
偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。
人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
論文 参考訳(メタデータ) (2023-05-24T04:27:40Z) - Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias [33.99768156365231]
生成言語モデルにおけるバイアス測定のための因果的定式化を導入する。
我々はOccuGenderというベンチマークを提案し、職業性バイアスを調査するためのバイアス測定手法を提案する。
以上の結果から,これらのモデルでは職業性バイアスがかなり大きいことが示唆された。
論文 参考訳(メタデータ) (2022-12-20T22:41:24Z) - Choose Your Lenses: Flaws in Gender Bias Evaluation [29.16221451643288]
ジェンダーバイアス評価の現在のパラダイムを評価し、その中のいくつかの欠陥を同定する。
まず、あるタスクにおけるモデルのパフォーマンスがジェンダーによってどのように影響を受けるかを測定する、外在バイアス指標の重要性を強調する。
第二に、データセットとメトリクスが頻繁に結合されていることを発見し、それらの結合がいかにして信頼できる結論を得る能力を妨げているかについて議論する。
論文 参考訳(メタデータ) (2022-10-20T17:59:55Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳(メタデータ) (2021-09-16T23:40:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。