論文の概要: Exploring Cross-Cultural Differences in English Hate Speech Annotations: From Dataset Construction to Analysis
- arxiv url: http://arxiv.org/abs/2308.16705v3
- Date: Wed, 3 Apr 2024 05:57:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 23:17:50.896019
- Title: Exploring Cross-Cultural Differences in English Hate Speech Annotations: From Dataset Construction to Analysis
- Title（参考訳）: 英語ヘイトスピーチアノテーションにおける言語間差異の探索:データセット構築から分析まで
- Authors: Nayeon Lee, Chani Jung, Junho Myung, Jiho Jin, Jose Camacho-Collados, Juho Kim, Alice Oh,
- Abstract要約: ほとんどのヘイトスピーチデータセットは、単一の言語における文化的多様性を無視している。
そこで本研究では,CRoss文化の英語Hate音声データセットであるCREHateを紹介する。
CREHateのポストの56.2%のみが全国でコンセンサスを達成しており、ペアのラベル差が最も高いのは26%である。
- 参考スコア（独自算出の注目度）: 44.17106903728264
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Warning: this paper contains content that may be offensive or upsetting. Most hate speech datasets neglect the cultural diversity within a single language, resulting in a critical shortcoming in hate speech detection. To address this, we introduce CREHate, a CRoss-cultural English Hate speech dataset. To construct CREHate, we follow a two-step procedure: 1) cultural post collection and 2) cross-cultural annotation. We sample posts from the SBIC dataset, which predominantly represents North America, and collect posts from four geographically diverse English-speaking countries (Australia, United Kingdom, Singapore, and South Africa) using culturally hateful keywords we retrieve from our survey. Annotations are collected from the four countries plus the United States to establish representative labels for each country. Our analysis highlights statistically significant disparities across countries in hate speech annotations. Only 56.2% of the posts in CREHate achieve consensus among all countries, with the highest pairwise label difference rate of 26%. Qualitative analysis shows that label disagreement occurs mostly due to different interpretations of sarcasm and the personal bias of annotators on divisive topics. Lastly, we evaluate large language models (LLMs) under a zero-shot setting and show that current LLMs tend to show higher accuracies on Anglosphere country labels in CREHate. Our dataset and codes are available at: https://github.com/nlee0212/CREHate
- Abstract（参考訳）: 警告:本論文には、攻撃的あるいは動揺する可能性のある内容が含まれている。
ほとんどのヘイトスピーチデータセットは単一の言語における文化的多様性を無視しており、ヘイトスピーチ検出において重大な欠点をもたらす。
そこで本研究では,CRoss文化の英語Hate音声データセットであるCREHateを紹介する。
CREHateの構築には2段階の手順を踏襲する。
1)文化郵便の収集・収集
2)異文化のアノテーション。
我々は、主に北アメリカを代表するSBICデータセットからの投稿をサンプリングし、我々の調査から得られた文化的に憎しみのあるキーワードを用いて、地理的に多様な英語を話す4カ国(オーストラリア、イギリス、シンガポール、南アフリカ)の投稿を収集した。
アノテーションは4カ国と米国から収集され、各国の代表ラベルが設定されている。
本分析は,ヘイトスピーチアノテーションにおける各国間の統計的に有意な差異を強調した。
CREHateのポストの56.2%のみが全国でコンセンサスを達成しており、ペアのラベル差が最も高いのは26%である。
質的な分析により、ラベルの不一致は、主にサルカズムの異なる解釈と、異なるトピックに対するアノテータの個人的偏見によって生じることを示している。
最後に、ゼロショット設定で大規模言語モデル(LLM)を評価し、現在のLLMがCREHateの国別ラベルに高い精度を示す傾向があることを示す。
私たちのデータセットとコードは、https://github.com/nlee0212/CREHate.comで公開されています。
関連論文リスト
- CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.40505206535077]
言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。
CVQAには文化主導のイメージと4大陸28カ国からの質問が含まれており、26の言語と11のスクリプトをカバーし、合計9kの質問を提供する。
CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
論文 参考訳（メタデータ） (2024-06-10T01:59:00Z) - CIVICS: Building a Dataset for Examining Culturally-Informed Values in Large Language Models [59.22460740026037]
大規模言語モデル(LLM)の社会的・文化的変動を評価するためのデータセット「CIVICS:文化インフォームド・バリュース・インクルーシブ・コーパス・フォー・ソシエティ・インパクト」
我々は、LGBTQIの権利、社会福祉、移民、障害権利、代理など、特定の社会的に敏感なトピックに対処する、手作りの多言語プロンプトのデータセットを作成します。
論文 参考訳（メタデータ） (2024-05-22T20:19:10Z) - From Languages to Geographies: Towards Evaluating Cultural Bias in Hate Speech Datasets [10.264294331399434]
ヘイトスピーチデータセットは伝統的に言語によって開発されてきた。
HSデータセットにおける文化バイアスを,言語と地理の2つの関係する文化的プロキシを利用して評価する。
英語、アラビア語、スペイン語のHSデータセットは、地理的に文化的に強い偏見を示す。
論文 参考訳（メタデータ） (2024-04-27T12:10:10Z) - Into the LAIONs Den: Investigating Hate in Multimodal Datasets [67.21783778038645]
本稿では、LAION-400MとLAION-2Bの2つのデータセットの比較監査を通して、ヘイトフルコンテンツに対するデータセットのスケーリングの効果について検討する。
その結果、データセットのスケールによってヘイトコンテンツは12%近く増加し、質的にも定量的にも測定された。
また、画像のみに基づいて算出されたNot Safe For Work(NSFW)値に基づくデータセットの内容のフィルタリングは、アルトテキストにおける有害なコンテンツをすべて排除するものではないことがわかった。
論文 参考訳（メタデータ） (2023-11-06T19:00:05Z) - LAHM : Large Annotated Dataset for Multi-Domain and Multilingual Hate
Speech Identification [2.048680519934008]
本稿では,英語,ヒンディー語,アラビア語,フランス語,ドイツ語,スペイン語の多言語ヘイトスピーチ分析データセットを提案する。
本論文は、これらの6言語において、これらの5つの広い領域において、様々な種類のヘイトスピーチを識別する問題に最初に対処するものである。
論文 参考訳（メタデータ） (2023-04-03T12:03:45Z) - K-MHaS: A Multi-label Hate Speech Detection Dataset in Korean Online
News Comment [3.428320237347854]
我々は韓国語パターンを効果的に処理するヘイトスピーチ検出のための新しいマルチラベルデータセットであるK-MHaSを紹介する。
データセットは、ニュースコメントから109kの発話で構成され、1から4つのラベルから複数のラベルの分類を提供する。
KR-BERTはサブキャラクタ・トークンーザより優れ、各ヘイトスピーチクラスで分解された文字を認識する。
論文 参考訳（メタデータ） (2022-08-23T02:10:53Z) - KOLD: Korean Offensive Language Dataset [11.699797031874233]
韓国の攻撃言語データセット(KOLD)と40kのコメントに,攻撃性,目標,対象とするグループ情報をラベル付けしたコメントを提示する。
タイトル情報は文脈として役立ち、特にコメントで省略された場合、憎悪の対象を識別するのに役立ちます。
論文 参考訳（メタデータ） (2022-05-23T13:58:45Z) - Korean Online Hate Speech Dataset for Multilabel Classification: How Can
Social Science Improve Dataset on Hate Speech? [0.4893345190925178]
韓国のネットヘイトスピーチデータセットに7つのカテゴリーのヘイトスピーチを分類することを提案する。
私たちの35Kデータセットは、Krippendorff氏のAlphaレーベルによる24Kのオンラインコメントで構成されています。
従来の二分的ヘイトや非ヘイト二分法とは異なり、文化と言語の両方の文脈を考慮したデータセットを設計した。
論文 参考訳（メタデータ） (2022-04-07T07:29:06Z) - Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。
言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。
本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
論文 参考訳（メタデータ） (2022-01-15T20:48:14Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。