論文の概要: NaijaHate: Evaluating Hate Speech Detection on Nigerian Twitter Using Representative Data
- arxiv url: http://arxiv.org/abs/2403.19260v3
- Date: Mon, 24 Jun 2024 05:31:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 01:12:30.551298
- Title: NaijaHate: Evaluating Hate Speech Detection on Nigerian Twitter Using Representative Data
- Title（参考訳）: NaijaHate: ナイジェリアのTwitter上でのヘイトスピーチ検出を代表データで評価
- Authors: Manuel Tonneau, Pedro Vitor Quinta de Castro, Karim Lasri, Ibrahim Farouq, Lakshminarayanan Subramanian, Victor Orozco-Olvera, Samuel P. Fraiberger,
- Abstract要約: ヘイトスピーチ検出(HSD)にアノテートされた最初のデータセットであるNaijaHateを紹介する。
バイアス付きデータセット上で評価されたHSDは,少なくとも2倍の速さで実世界の性能を過大評価する。
ナイジェリアのTwitterコンテキストに合わせた事前学習モデルであるNaijaXLM-Tを提案し、ドメイン適応型事前学習が果たす重要な役割を確立する。
- 参考スコア（独自算出の注目度）: 6.381724108333267
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To address the global issue of online hate, hate speech detection (HSD) systems are typically developed on datasets from the United States, thereby failing to generalize to English dialects from the Majority World. Furthermore, HSD models are often evaluated on non-representative samples, raising concerns about overestimating model performance in real-world settings. In this work, we introduce NaijaHate, the first dataset annotated for HSD which contains a representative sample of Nigerian tweets. We demonstrate that HSD evaluated on biased datasets traditionally used in the literature consistently overestimates real-world performance by at least two-fold. We then propose NaijaXLM-T, a pretrained model tailored to the Nigerian Twitter context, and establish the key role played by domain-adaptive pretraining and finetuning in maximizing HSD performance. Finally, owing to the modest performance of HSD systems in real-world conditions, we find that content moderators would need to review about ten thousand Nigerian tweets flagged as hateful daily to moderate 60% of all hateful content, highlighting the challenges of moderating hate speech at scale as social media usage continues to grow globally. Taken together, these results pave the way towards robust HSD systems and a better protection of social media users from hateful content in low-resource settings.
- Abstract（参考訳）: オンライン憎悪の世界的な問題に対処するために、ヘイトスピーチ検出(HSD)システムは一般的に米国のデータセット上で開発され、その結果、メジャー・ワールドの英語方言への一般化に失敗する。
さらに、HSDモデルは非表現的なサンプルでしばしば評価され、実環境におけるモデル性能の過大評価に関する懸念が提起される。
本研究では,ナイジェリアのつぶやきの代表的なサンプルを含むHSDにアノテートされた最初のデータセットであるNaijaHateを紹介する。
文献で伝統的に用いられてきたバイアス付きデータセットで評価されたHSDは、少なくとも2倍の実際の性能を常に過大評価している。
次に,ナイジェリアのTwitterコンテキストに合わせた事前学習モデルであるNaijaXLM-Tを提案し,HSD性能の最大化において,ドメイン適応型事前学習と微調整が果たす重要な役割を確立する。
最後に、現実の状況下でのHSDシステムの質素なパフォーマンスのため、コンテンツモデレーターは毎日1万件のナイジェリアのツイートをヘイトフルとマークし、すべてのヘイトフルコンテンツの60%を中程度に減らし、ソーシャルメディアの利用が世界中で拡大するにつれて、ヘイトスピーチを大規模にモデレートするという課題を強調する必要があることに気付きました。
これらの結果は、堅牢なHSDシステムへの道を歩み、低リソース環境でのヘイトフルコンテンツからソーシャルメディアユーザーを保護している。
関連論文リスト
- HateDay: Insights from a Global Hate Speech Dataset Representative of a Day on Twitter [9.120816065488876]
ヘイトスピーチの流行と構成が言語や国によってどのように異なるかを示す。
モデルがヘイトスピーチと攻撃的スピーチを区別できないことを含む、パフォーマンスの低下を説明するいくつかの要因を同定する。
このような低性能は、公開検出モデルによる音声のモデレーションを嫌うものだ、と我々は主張する。
論文 参考訳（メタデータ） (2024-11-23T05:54:30Z) - Machine Translation Meta Evaluation through Translation Accuracy
Challenge Sets [92.38654521870444]
ACESは146の言語ペアにまたがる対照的な課題セットです。
このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。
我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
論文 参考訳（メタデータ） (2024-01-29T17:17:42Z) - Into the LAIONs Den: Investigating Hate in Multimodal Datasets [67.21783778038645]
本稿では、LAION-400MとLAION-2Bの2つのデータセットの比較監査を通して、ヘイトフルコンテンツに対するデータセットのスケーリングの効果について検討する。
その結果、データセットのスケールによってヘイトコンテンツは12%近く増加し、質的にも定量的にも測定された。
また、画像のみに基づいて算出されたNot Safe For Work(NSFW)値に基づくデータセットの内容のフィルタリングは、アルトテキストにおける有害なコンテンツをすべて排除するものではないことがわかった。
論文 参考訳（メタデータ） (2023-11-06T19:00:05Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳（メタデータ） (2023-09-27T14:44:10Z) - CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI
Collaboration for Large Language Models [52.25049362267279]
本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。
データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。
大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
論文 参考訳（メタデータ） (2023-06-28T14:14:44Z) - Revisiting Hate Speech Benchmarks: From Data Curation to System
Deployment [26.504056750529124]
GOTHateは、Twitterからヘイトスピーチを検出するために約51万の投稿をクラウドソースした大規模クラウドソースデータセットである。
最近の10のベースラインでベンチマークを行い、内因性信号の追加がヘイトスピーチ検出タスクをどのように強化するかを検討する。
我々のHEN-mBERTは多言語混合実験モデルであり、潜在内因性信号で言語的部分空間を豊かにする。
論文 参考訳（メタデータ） (2023-06-01T19:36:52Z) - Vietnamese Hate and Offensive Detection using PhoBERT-CNN and Social
Media Streaming Data [2.5934729511903445]
ベトナムのソーシャルメディアから収集したコメントをクリーンにするための,効率的な事前処理手法を提案する。
PhoBERTモデルとText-CNNモデルを組み合わせた新しいヘイトスピーチ検出(HSD)モデルがベトナムの課題を解決するために提案された。
EDA技術は、不均衡なデータを扱うために応用され、分類モデルの性能を改善する。
論文 参考訳（メタデータ） (2022-06-01T14:33:25Z) - BD-SHS: A Benchmark Dataset for Learning to Detect Online Bangla Hate
Speech in Different Social Contexts [1.5483942282713241]
本稿では,Hate Speechをソーシャルコンテキストに含めた大規模ラベル付きデータセットを提案する。
データセットには、オンラインソーシャルネットワークサイトからクロールされた50,200件以上の攻撃的なコメントが含まれている。
実験の結果,147万コメントのみを用いてトレーニングした単語の埋め込みが一貫してHS検出のモデリングを改善することがわかった。
論文 参考訳（メタデータ） (2022-06-01T10:10:15Z) - Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。
テキスト生成における社会的バイアスを軽減するためのステップを提案する。
我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
論文 参考訳（メタデータ） (2021-06-24T17:52:43Z) - A Large-scale Dataset for Hate Speech Detection on Vietnamese Social
Media Texts [0.32228025627337864]
ViHSDは、ソーシャルネットワーク上でヘイトスピーチを自動的に検出する人間アノテーション付きデータセットである。
このデータセットには30,000以上のコメントが含まれており、データセットの各コメントにはCLEAN、OFENSIVE、HATEの3つのラベルの1つが含まれている。
論文 参考訳（メタデータ） (2021-03-22T00:55:47Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳（メタデータ） (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。