論文の概要: Annotators with Attitudes: How Annotator Beliefs And Identities Bias Toxic Language Detection

• arxiv url: http://arxiv.org/abs/2111.07997v1
• Date: Mon, 15 Nov 2021 18:58:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-16 17:26:39.430707
• Title: Annotators with Attitudes: How Annotator Beliefs And Identities Bias Toxic Language Detection
• Title（参考訳）: Annotator with Attitudes: Annotator Beliefs and Identities Bias Toxic Language Detection
• Authors: Maarten Sap, Swabha Swayamdipta, Laura Vianna, Xuhui Zhou, Yejin Choi, Noah A. Smith
• Abstract要約: 本研究では,アノテータのアイデンティティ(誰)と信念(なぜ)が有害な言語アノテーションに与える影響について検討する。 我々は、アンチブラック言語、アフリカ系アメリカ人の英語方言、俗語という3つの特徴を持つポストを考察する。 以上の結果から,アノテータのアイデンティティと信念と毒性評価の相関が強く示唆された。
• 参考スコア（独自算出の注目度）: 75.54119209776894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The perceived toxicity of language can vary based on someone's identity and beliefs, but this variation is often ignored when collecting toxic language datasets, resulting in dataset and model biases. We seek to understand the who, why, and what behind biases in toxicity annotations. In two online studies with demographically and politically diverse participants, we investigate the effect of annotator identities (who) and beliefs (why), drawing from social psychology research about hate speech, free speech, racist beliefs, political leaning, and more. We disentangle what is annotated as toxic by considering posts with three characteristics: anti-Black language, African American English (AAE) dialect, and vulgarity. Our results show strong associations between annotator identity and beliefs and their ratings of toxicity. Notably, more conservative annotators and those who scored highly on our scale for racist beliefs were less likely to rate anti-Black language as toxic, but more likely to rate AAE as toxic. We additionally present a case study illustrating how a popular toxicity detection system's ratings inherently reflect only specific beliefs and perspectives. Our findings call for contextualizing toxicity labels in social variables, which raises immense implications for toxic language annotation and detection.
• Abstract（参考訳）: 言語の毒性は、誰かのアイデンティティや信念によって異なるが、有害な言語データセットを収集する場合、この変異はしばしば無視され、結果としてデータセットとモデルのバイアスが生じる。 毒性アノテーションのバイアスの背景にある人、理由、何を理解しようとします。 人口統計学的および政治的に多様である2つのオンライン研究において、ヘイトスピーチ、言論の自由、人種差別的信念、政治的傾倒などに関する社会心理学的な研究から、アノテータのアイデンティティ(誰)と信念(なぜ)の効果を考察した。 我々は、アンチブラック言語、アフリカ・アメリカン・イングリッシュ(AAE)方言、および下品性という3つの特徴を持つポストを考慮し、有毒であると注釈されたものを切り離す。 以上より,アノテータのアイデンティティと信念と毒性評価との間に強い相関がみられた。 特に、より保守的な注釈家や人種差別的信念を高く評価した人々は、反黒人言語を有毒と評する傾向は低いが、aaeを有毒と評する傾向が強かった。 また,一般的な毒性検出システムの評価が,特定の信念と視点のみを本質的に反映していることを示すケーススタディを提示する。 社会変数における毒性ラベルの文脈化は有害な言語アノテーションや検出に多大な影響を及ぼすと考えられる。

関連論文リスト

• A Comprehensive View of the Biases of Toxicity and Sentiment Analysis Methods Towards Utterances with African American English Expressions [5.472714002128254]
  ウェブベース(YouTubeとTwitter)の2つのデータセットと英語の2つのデータセットのバイアスについて検討した。 我々は,言語問合せおよびワードカウントソフトウェアから言語制御機能を介してAE表現の使用が与える影響を分離する。 また, AAE 表現の多用により, 話者の毒性が著しく向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-01-23T12:41:03Z)
• Twits, Toxic Tweets, and Tribal Tendencies: Trends in Politically Polarized Posts on Twitter [5.161088104035108]
  個人レベルでの毒性と,Twitter/X上でのトピックレベルに寄与するパーシスタンスと感情分極が果たす役割について検討する。 43,151人のTwitter/Xユーザーから8960万のツイートを収集した後、パーティショニングを含むいくつかのアカウントレベルの特徴が、ユーザーが有害コンテンツを投稿する頻度を予測するかを決定する。
  論文  参考訳（メタデータ） (2023-07-19T17:24:47Z)
• Comparing Biases and the Impact of Multilingual Training across Multiple Languages [70.84047257764405]
  ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。 我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。 以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
  論文  参考訳（メタデータ） (2023-05-18T18:15:07Z)
• Classification of social media Toxic comments using Machine learning models [0.0]
  この要約は、ソーシャルメディアプラットフォームにおける有害なコメントの問題を概説している。 この行動は反社会的行動と呼ばれ、オンライン討論、コメント、戦いの間に起こる。 明示的な言語を含むコメントは、有毒、重篤な有毒、わいせつ、脅迫、侮辱、同一性嫌悪など、様々なカテゴリに分類される。 ユーザーを不快な言葉から守るために、企業はコメントを掲示し、ユーザーをブロックし始めた。
  論文  参考訳（メタデータ） (2023-04-14T05:40:11Z)
• Beyond Plain Toxic: Detection of Inappropriate Statements on Flammable Topics for the Russian Language [76.58220021791955]
  本稿では,不合理性という二項的概念と,センシティブなトピックの多項的概念に基づいてラベル付けされた2つのテキストコレクションについて述べる。 不適切な概念を客観するために、クラウドソーシングではデータ駆動方式で定義する。
  論文  参考訳（メタデータ） (2022-03-04T15:59:06Z)
• Mitigating Biases in Toxic Language Detection through Invariant Rationalization [70.36701068616367]
  性別、人種、方言などの属性に対するバイアスは、毒性検出のためのほとんどのトレーニングデータセットに存在する。 本稿では,論理生成器と予測器から構成されるゲーム理論フレームワークである不変合理化(InvRat)を用いて,特定の構文パターンの素早い相関を除外することを提案する。 本手法は, 語彙属性と方言属性の両方において, 従来のデバイアス法よりも低い偽陽性率を示す。
  論文  参考訳（メタデータ） (2021-06-14T08:49:52Z)
• Designing Toxic Content Classification for a Diversity of Perspectives [15.466547856660803]
  我々は17,280人の参加者を対象に,有毒なコンテンツを構成するものに対するユーザの期待が,人口動態,信念,個人的経験によってどのように異なるかを調査した。 歴史的に嫌がらせのリスクがあるグループは、Reddit、Twitter、あるいは4chanから無作為なコメントを有害であると警告する傾向にある。 JigsawのパースペクティブAPIのような、現在の一大毒性分類アルゴリズムは、パーソナライズされたモデルチューニングによって、平均86%の精度で改善できることを示す。
  論文  参考訳（メタデータ） (2021-06-04T16:45:15Z)
• Challenges in Automated Debiasing for Toxic Language Detection [81.04406231100323]
  バイアスド・アソシエーションは、有害な言語を検出するための分類器の開発において課題となっている。 我々は最近,有害な言語検出に適用されたテキスト分類データセットとモデルに対するデバイアス法について検討した。 我々の焦点は語彙(例えば、誓い言葉、スラー、アイデンティティの言及)と方言マーカー(特にアフリカ系アメリカ人の英語)である。
  論文  参考訳（メタデータ） (2021-01-29T22:03:17Z)
• Reading Between the Demographic Lines: Resolving Sources of Bias in Toxicity Classifiers [0.0]
  パースペクティブAPIはおそらく業界で最も広く使われている毒性分類器である。 Googleのモデルは、一般的に標的とするグループのアイデンティティを参照する単語を含むコメントに、より高い毒性スコアを不公平に割り当てる傾向がある。 我々は,強い分類性能を維持しつつ,意図しないバイアスを低減する目的で,いくつかの毒性分類器を構築した。
  論文  参考訳（メタデータ） (2020-06-29T21:40:55Z)
• Racism is a Virus: Anti-Asian Hate and Counterspeech in Social Media during the COVID-19 Crisis [51.39895377836919]
  新型コロナウイルスは、アジアのコミュニティをターゲットにしたソーシャルメディア上で人種差別や憎悪を引き起こしている。 我々は、Twitterのレンズを通して、反アジアヘイトスピーチの進化と普及について研究する。 私たちは、14ヶ月にわたる反アジア的憎悪と反音声のデータセットとして最大となるCOVID-HATEを作成します。
  論文  参考訳（メタデータ） (2020-05-25T21:58:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。