論文の概要: Re-examining Sexism and Misogyny Classification with Annotator Attitudes

• arxiv url: http://arxiv.org/abs/2410.03543v1
• Date: Fri, 4 Oct 2024 15:57:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 21:39:44.735944
• Title: Re-examining Sexism and Misogyny Classification with Annotator Attitudes
• Title（参考訳）: アノテーションによる性差別とミソジニー分類の再検討
• Authors: Aiqi Jiang, Nikolas Vitsakis, Tanvi Dinkar, Gavin Abercrombie, Ioannis Konstas,
• Abstract要約: Gender-Based Violence(GBV)はオンライン上の問題だが、既存のデータセットでは複数の可能なアノテータの視点をキャプチャできない。 我々はGBVのモデレーションパイプラインにおいて,(1)手動データラベリング,(2)自動分類の2つの重要な段階を再考する。
• 参考スコア（独自算出の注目度）: 9.544313152137262
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Gender-Based Violence (GBV) is an increasing problem online, but existing datasets fail to capture the plurality of possible annotator perspectives or ensure the representation of affected groups. We revisit two important stages in the moderation pipeline for GBV: (1) manual data labelling; and (2) automated classification. For (1), we examine two datasets to investigate the relationship between annotator identities and attitudes and the responses they give to two GBV labelling tasks. To this end, we collect demographic and attitudinal information from crowd-sourced annotators using three validated surveys from Social Psychology. We find that higher Right Wing Authoritarianism scores are associated with a higher propensity to label text as sexist, while for Social Dominance Orientation and Neosexist Attitudes, higher scores are associated with a negative tendency to do so. For (2), we conduct classification experiments using Large Language Models and five prompting strategies, including infusing prompts with annotator information. We find: (i) annotator attitudes affect the ability of classifiers to predict their labels; (ii) including attitudinal information can boost performance when we use well-structured brief annotator descriptions; and (iii) models struggle to reflect the increased complexity and imbalanced classes of the new label sets.
• Abstract（参考訳）: Gender-Based Violence(GBV)はオンライン上の問題だが、既存のデータセットは複数の可能なアノテータの視点を捉えたり、影響を受けるグループの表現を確実にすることができない。 我々はGBVのモデレーションパイプラインにおいて,(1)手動データラベリング,(2)自動分類の2つの重要な段階を再考する。 1)アノテータのアイデンティティと態度の関係と,それらが2つのGBVラベリングタスクに与える応答について検討する。 この目的のために,社会心理学の3つの検証された調査データを用いて,クラウドソーシングアノテータから人口統計情報と人口統計情報を収集した。 右翼権威主義のスコアは、テキストをセクシストとしてラベル付けする確率が高いのに対して、社会的支配指向とネオセクシズムの態度では、高いスコアは、それを行う負の傾向に関連している。 2)大規模言語モデルと5つのプロンプト戦略を用いて分類実験を行う。 以下に示す。 (i)アノテータの態度は、分類者のラベルの予測能力に影響を及ぼす。 二 適時情報を含むものは、よく構造化された簡潔な注釈書を用いて、性能を高めることができる。 三 モデルは、新しいラベルセットの複雑さと不均衡なクラスの増加を反映するのに苦労する。

関連論文リスト

• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• The Male CEO and the Female Assistant: Evaluation and Mitigation of Gender Biases in Text-To-Image Generation of Dual Subjects [58.27353205269664]
  本稿では,Paired Stereotype Test (PST) フレームワークを提案する。 PSTクエリT2Iモデルは、男性ステレオタイプと女性ステレオタイプに割り当てられた2つの個人を描写する。 PSTを用いて、ジェンダーバイアスの2つの側面、つまり、ジェンダーの職業におけるよく知られたバイアスと、組織力におけるバイアスという新しい側面を評価する。
  論文  参考訳（メタデータ） (2024-02-16T21:32:27Z)
• Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks [9.110872603799839]
  監督された分類は、人間によって注釈付けされたデータセットに大きく依存する。 毒性分類などの主観的なタスクでは、これらのアノテーションはラッカー間での合意が低くなることが多い。 本研究では、主観的分類タスクのためのtextbfAnnotator Awares for Texts (AART) を提案する。
  論文  参考訳（メタデータ） (2023-11-16T10:18:32Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• When the Majority is Wrong: Modeling Annotator Disagreement for Subjective Tasks [45.14664901245331]
  ヘイトスピーチの検出における重要な問題は、ある声明が人口集団に対して攻撃的であるかどうかを決定することである。 我々は、潜在的に攻撃的なテキストに基づいて、個々のアノテータ評価を予測するモデルを構築した。 その結果、アノテータの評価は、その人口統計情報とオンラインコンテンツに関する意見を用いて予測できることがわかった。
  論文  参考訳（メタデータ） (2023-05-11T07:55:20Z)
• Stable Bias: Analyzing Societal Representations in Diffusion Models [72.27121528451528]
  本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。 我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。 我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
  論文  参考訳（メタデータ） (2023-03-20T19:32:49Z)
• Everyone's Voice Matters: Quantifying Annotation Disagreement Using Demographic Information [11.227630261409706]
  本研究では,タスクのテキストとアノテータの階層的背景情報を用いて,アノテータ間の不一致の程度を推定できるかどうかを検討する。 その結果, 性別, 民族, 教育水準などのアノテータの人口統計情報を知ることは, 意見の不一致の予測に有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-01-12T14:04:53Z)
• Towards Intersectionality in Machine Learning: Including More Identities, Handling Underrepresentation, and Performing Evaluation [23.661509482014058]
  交差性を複数の属性として組み込んだ場合、機械学習パイプラインの3段階に沿って発生する疑問に対処する。 我々は、どの属性ラベルをトレーニングするかを選択する際に、経験的検証でドメイン知識を補うことを提唱する。 規範的含意を考慮せずにデータ不均衡技術の使用を警告する。
  論文  参考訳（メタデータ） (2022-05-10T01:00:52Z)
• Quantifying Learnability and Describability of Visual Concepts Emerging in Representation Learning [91.58529629419135]
  我々は、ディープニューラルネットワークによって自動的に発見された視覚的なグルーピングを特徴付ける方法を検討する。 本稿では、任意の画像グループ化の解釈可能性の定量化に使用できる視覚的学習可能性と記述可能性という2つの概念を紹介する。
  論文  参考訳（メタデータ） (2020-10-27T18:41:49Z)
• Contrastive Examples for Addressing the Tyranny of the Majority [83.93825214500131]
  我々は,グループメンバーシップを介在する,オリジナルのデータセットと新たなデータポイントからなるバランスの取れたトレーニングデータセットを作成することを提案する。 コントラッシブ・サンプル(英語版)と呼ばれるこれらのデータポイントを学習するための強力なツールとして、現在の生成的敵ネットワークが重要であることを示す。
  論文  参考訳（メタデータ） (2020-04-14T14:06:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。