論文の概要: NaijaHate: Evaluating Hate Speech Detection on Nigerian Twitter Using Representative Data
- arxiv url: http://arxiv.org/abs/2403.19260v1
- Date: Thu, 28 Mar 2024 09:34:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 16:53:18.885089
- Title: NaijaHate: Evaluating Hate Speech Detection on Nigerian Twitter Using Representative Data
- Title(参考訳): NaijaHate: ナイジェリアのTwitter上でのヘイトスピーチ検出を代表データで評価
- Authors: Manuel Tonneau, Pedro Vitor Quinta de Castro, Karim Lasri, Ibrahim Farouq, Lakshminarayanan Subramanian, Victor Orozco-Olvera, Samuel Fraiberger,
- Abstract要約: ヘイトスピーチ検出(HSD)にアノテートされた最初のデータセットであるNaijaHateを紹介する。
文献で伝統的に用いられてきたバイアス付きデータセットを用いて評価されたHSDは、代表データに基づいて実世界のパフォーマンスを過大評価している。
また、ナイジェリアのTwitterコンテキストに合わせて事前訓練されたモデルであるNaijaXLM-Tを提案する。
- 参考スコア(独自算出の注目度): 7.0350699801896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To address the global issue of hateful content proliferating in online platforms, hate speech detection (HSD) models are typically developed on datasets collected in the United States, thereby failing to generalize to English dialects from the Majority World. Furthermore, HSD models are often evaluated on curated samples, raising concerns about overestimating model performance in real-world settings. In this work, we introduce NaijaHate, the first dataset annotated for HSD which contains a representative sample of Nigerian tweets. We demonstrate that HSD evaluated on biased datasets traditionally used in the literature largely overestimates real-world performance on representative data. We also propose NaijaXLM-T, a pretrained model tailored to the Nigerian Twitter context, and establish the key role played by domain-adaptive pretraining and finetuning in maximizing HSD performance. Finally, we show that in this context, a human-in-the-loop approach to content moderation where humans review 1% of Nigerian tweets flagged as hateful would enable to moderate 60% of all hateful content. Taken together, these results pave the way towards robust HSD systems and a better protection of social media users from hateful content in low-resource settings.
- Abstract(参考訳): オンラインプラットフォームで増加するヘイトフルコンテンツの世界的問題に対処するため、ヘイトスピーチ検出(HSD)モデルは一般的に米国内で収集されたデータセット上で開発され、主要世界の英語方言への一般化に失敗する。
さらに、HSDモデルは、しばしばキュレートされたサンプルで評価され、実環境におけるモデル性能の過大評価に関する懸念が提起される。
本研究では,ナイジェリアのつぶやきの代表的なサンプルを含むHSDにアノテートされた最初のデータセットであるNaijaHateを紹介する。
文献で伝統的に用いられてきたバイアス付きデータセットで評価されたHSDは、代表データに基づいて実世界のパフォーマンスを過大評価している。
また,ナイジェリアのTwitterコンテキストに合わせた事前学習モデルであるNaijaXLM-Tを提案し,HSD性能の最大化において,ドメイン適応型事前学習と微調整が果たす重要な役割を確立する。
最後に、この文脈では、人間がヘイトフルであると宣言されたナイジェリアのツイートの1%を人間がレビューすることで、すべてのヘイトフルコンテンツの60%を中途半端にすることができることを示します。
これらの結果は、堅牢なHSDシステムへの道を歩み、低リソース環境でのヘイトフルコンテンツからソーシャルメディアユーザーを保護している。
関連論文リスト
- Into the LAIONs Den: Investigating Hate in Multimodal Datasets [67.21783778038645]
本稿では、LAION-400MとLAION-2Bの2つのデータセットの比較監査を通して、ヘイトフルコンテンツに対するデータセットのスケーリングの効果について検討する。
その結果、データセットのスケールによってヘイトコンテンツは12%近く増加し、質的にも定量的にも測定された。
また、画像のみに基づいて算出されたNot Safe For Work(NSFW)値に基づくデータセットの内容のフィルタリングは、アルトテキストにおける有害なコンテンツをすべて排除するものではないことがわかった。
論文 参考訳(メタデータ) (2023-11-06T19:00:05Z) - CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI
Collaboration for Large Language Models [52.25049362267279]
本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。
データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。
大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
論文 参考訳(メタデータ) (2023-06-28T14:14:44Z) - Annotating Norwegian Language Varieties on Twitter for Part-of-Speech [14.031720101413557]
POSタグを付加したノルウェーのTwitterデータセットを提案する。
このデータセットに対して評価すると,UD(Universal Dependency)データに基づいてトレーニングしたモデルの性能が低下することを示す。
また、方言のツイートのパフォーマンスは、一部のモデルの標準書に匹敵するものであることもわかっています。
論文 参考訳(メタデータ) (2022-10-12T12:53:30Z) - BD-SHS: A Benchmark Dataset for Learning to Detect Online Bangla Hate
Speech in Different Social Contexts [1.5483942282713241]
本稿では,Hate Speechをソーシャルコンテキストに含めた大規模ラベル付きデータセットを提案する。
データセットには、オンラインソーシャルネットワークサイトからクロールされた50,200件以上の攻撃的なコメントが含まれている。
実験の結果,147万コメントのみを用いてトレーニングした単語の埋め込みが一貫してHS検出のモデリングを改善することがわかった。
論文 参考訳(メタデータ) (2022-06-01T10:10:15Z) - APEACH: Attacking Pejorative Expressions with Analysis on
Crowd-Generated Hate Speech Evaluation Datasets [4.034948808542701]
APEACHは、特定されていないユーザによって生成されるヘイトスピーチの収集を可能にする方法である。
ヘイトスピーチの群集生成を制御し,最小限のポストラベルのみを追加することにより,ヘイトスピーチ検出の一般化と公平な評価を可能にするコーパスを作成する。
論文 参考訳(メタデータ) (2022-02-25T02:04:38Z) - LaMDA: Language Models for Dialog Applications [75.75051929981933]
LaMDAは、ダイアログに特化したトランスフォーマーベースのニューラルネットワークモデルのファミリーである。
注釈付きデータで微調整し、モデルが外部の知識ソースを参照できるようにすると、大幅な改善がもたらされる。
論文 参考訳(メタデータ) (2022-01-20T15:44:37Z) - Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。
テキスト生成における社会的バイアスを軽減するためのステップを提案する。
我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
論文 参考訳(メタデータ) (2021-06-24T17:52:43Z) - Bridging the Gap Between Clean Data Training and Real-World Inference
for Spoken Language Understanding [76.89426311082927]
既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。
本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。
広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
論文 参考訳(メタデータ) (2021-04-13T17:54:33Z) - A Large-scale Dataset for Hate Speech Detection on Vietnamese Social
Media Texts [0.32228025627337864]
ViHSDは、ソーシャルネットワーク上でヘイトスピーチを自動的に検出する人間アノテーション付きデータセットである。
このデータセットには30,000以上のコメントが含まれており、データセットの各コメントにはCLEAN、OFENSIVE、HATEの3つのラベルの1つが含まれている。
論文 参考訳(メタデータ) (2021-03-22T00:55:47Z) - Empirical Study of Text Augmentation on Social Media Text in Vietnamese [3.0938904602244355]
テキスト分類問題では、データセット内のラベルの不均衡がテキスト分類モデルの性能に影響を及ぼす。
データセットのクラス間の不均衡問題を解決するために,データ拡張手法を適用した。
増量の結果、両コーパスのF1マクロスコアは約1.5%増加する。
論文 参考訳(メタデータ) (2020-09-25T16:18:52Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳(メタデータ) (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。