論文の概要: HateDay: Insights from a Global Hate Speech Dataset Representative of a Day on Twitter
- arxiv url: http://arxiv.org/abs/2411.15462v2
- Date: Sat, 31 May 2025 04:52:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-03 20:53:53.04965
- Title: HateDay: Insights from a Global Hate Speech Dataset Representative of a Day on Twitter
- Title（参考訳）: HateDay: 世界のヘイトスピーチデータセットからTwitterで1日を振り返る
- Authors: Manuel Tonneau, Diyi Liu, Niyati Malhotra, Scott A. Hale, Samuel P. Fraiberger, Victor Orozco-Olvera, Paul Röttger,
- Abstract要約: ソーシャルメディア設定を代表した初のグローバルヘイトスピーチデータセットであるHateDayを紹介する。
本研究では,学術データセットに対する評価が実世界の検出性能を大幅に過大評価していることを示す。
モデル性能の低さは、公的なモデルを自動ヘイトスピーチのモデレーションに不適当にしている、と我々は主張する。
- 参考スコア（独自算出の注目度）: 9.120816065488876
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To address the global challenge of online hate speech, prior research has developed detection models to flag such content on social media. However, due to systematic biases in evaluation datasets, the real-world effectiveness of these models remains unclear, particularly across geographies. We introduce HateDay, the first global hate speech dataset representative of social media settings, constructed from a random sample of all tweets posted on September 21, 2022 and covering eight languages and four English-speaking countries. Using HateDay, we uncover substantial variation in the prevalence and composition of hate speech across languages and regions. We show that evaluations on academic datasets greatly overestimate real-world detection performance, which we find is very low, especially for non-European languages. Our analysis identifies key drivers of this gap, including models' difficulty to distinguish hate from offensive speech and a mismatch between the target groups emphasized in academic datasets and those most frequently targeted in real-world settings. We argue that poor model performance makes public models ill-suited for automatic hate speech moderation and find that high moderation rates are only achievable with substantial human oversight. Our results underscore the need to evaluate detection systems on data that reflects the complexity and diversity of real-world social media.
- Abstract（参考訳）: オンラインヘイトスピーチの世界的な課題に対処するため、先行研究はソーシャルメディアにそのようなコンテンツをフラグ付けするための検出モデルを開発した。
しかしながら、評価データセットの体系的なバイアスのため、これらのモデルの現実的な有効性は、特に地理的に不明確である。
我々は、2022年9月21日に投稿された全ツイートのランダムなサンプルから構築され、8つの言語と4つの英語圏をカバーした、ソーシャルメディア設定を代表する最初のグローバルヘイトスピーチデータセットであるHateDayを紹介した。
HateDayを用いて、言語や地域間でのヘイトスピーチの頻度と構成のかなりの変化を明らかにした。
学術データセットに対する評価は実世界の検出性能を大幅に過大評価しており、特に非ヨーロッパ言語では、非常に低い結果が得られている。
分析では、攻撃的なスピーチから憎しみを区別することの難しさや、学術的なデータセットで強調されるターゲットグループと、現実世界で最も頻繁にターゲットされるグループとのミスマッチなど、このギャップの要因を特定した。
モデル性能の低さは、公的なモデルを自動ヘイトスピーチのモデレーションに不適当にし、高いモデレーションレートは人間をかなり監視する上でのみ達成可能であると我々は主張する。
この結果から,実世界のソーシャルメディアの複雑さと多様性を反映したデータ検出システムの評価の必要性が示唆された。
関連論文リスト
- Dealing with Annotator Disagreement in Hate Speech Classification [0.0]
本稿では,アノテータの不一致に対処するための戦略について検討する。
トルコのつぶやきにおけるヘイトスピーチ分類に関するアノテータの不一致に対処するための様々なアプローチを、細調整されたBERTモデルに基づいて評価した。
本研究は,問題の重要性を強調し,オンライン談話におけるヘイトスピーチの検出と理解のための最先端のベンチマーク結果を提供する。
論文 参考訳（メタデータ） (2025-02-12T10:19:50Z) - Integrating Self-supervised Speech Model with Pseudo Word-level Targets
from Visually-grounded Speech Model [57.78191634042409]
擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。
4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
論文 参考訳（メタデータ） (2024-02-08T16:55:21Z) - CoSyn: Detecting Implicit Hate Speech in Online Conversations Using a
Context Synergized Hyperbolic Network [52.85130555886915]
CoSynは、オンライン会話における暗黙のヘイトスピーチを検出するために、ユーザと会話のコンテキストを明示的に組み込んだ、コンテキスト中心のニューラルネットワークである。
我々は、CoSynが、1.24%から57.8%の範囲で絶対的に改善された暗黙のヘイトスピーチを検出することで、我々のベースラインを全て上回っていることを示す。
論文 参考訳（メタデータ） (2023-03-02T17:30:43Z) - A New Generation of Perspective API: Efficient Multilingual
Character-level Transformers [66.9176610388952]
Google JigsawのAspective APIの次期バージョンの基礎を提示する。
このアプローチの中心は、単一の多言語トークンフリーなCharformerモデルである。
静的な語彙を強制することで、さまざまな設定で柔軟性が得られます。
論文 参考訳（メタデータ） (2022-02-22T20:55:31Z) - Deep Learning for Hate Speech Detection: A Comparative Study [54.42226495344908]
ここでは, ディープ・ヘイト・音声検出法と浅いヘイト・音声検出法を大規模に比較した。
私たちの目標は、この地域の進歩を照らし、現在の最先端の強みと弱点を特定することです。
そこで我々は,ヘイトスピーチ検出の実践的利用に関するガイダンスの提供,最先端の定量化,今後の研究方向の特定を目的としている。
論文 参考訳（メタデータ） (2022-02-19T03:48:20Z) - Highly Generalizable Models for Multilingual Hate Speech Detection [0.0]
ヘイトスピーチ検出は過去10年で重要な研究課題となっている。
我々は11言語からなるデータセットをコンパイルし、組み合わせたデータとバイナリラベル(ヘイトスピーチかヘイトスピーチでないか)を解析することで、異なる解決を行う。
多言語-トレイン型モノリンガルテスト,モノリンガルトレイン型モノリンガルテスト,言語-家族型モノリンガルテストのシナリオである。
論文 参考訳（メタデータ） (2022-01-27T03:09:38Z) - Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。
言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。
本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
論文 参考訳（メタデータ） (2022-01-15T20:48:14Z) - Reducing Target Group Bias in Hate Speech Detectors [56.94616390740415]
大規模な公開データセットでトレーニングされたテキスト分類モデルは、いくつかの保護されたグループで大幅に性能が低下する可能性がある。
本稿では,トークンレベルのヘイトセンスの曖昧さを実現し,トークンのヘイトセンスの表現を検知に利用することを提案する。
論文 参考訳（メタデータ） (2021-12-07T17:49:34Z) - Cross-lingual Capsule Network for Hate Speech Detection in Social Media [6.531659195805749]
本研究では,言語間のヘイトスピーチ検出タスクについて検討し,ヘイトスピーチのリソースをある言語から別の言語に適応させることによって問題に対処する。
本稿では,ヘイトスピーチのための言語間カプセルネットワーク学習モデルと追加のドメイン固有語彙意味論を組み合わせることを提案する。
私たちのモデルは、AMI@Evalita 2018とAMI@Ibereval 2018のベンチマークデータセットで最先端のパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2021-08-06T12:53:41Z) - Towards generalisable hate speech detection: a review on obstacles and
solutions [6.531659195805749]
本稿では,既存のヘイトスピーチ検出モデルの一般化について概説する。
主な障害に対処する既存の試みを要約し、ヘイトスピーチ検出における一般化を改善するための今後の研究の方向性を提案する。
論文 参考訳（メタデータ） (2021-02-17T17:27:48Z) - Towards Hate Speech Detection at Large via Deep Generative Modeling [4.080068044420974]
ヘイトスピーチ検出はソーシャルメディアプラットフォームにおいて重要な問題である。
生成言語モデルにより生成された100万件の現実的憎悪と非憎悪のシーケンスのデータセットを提示する。
5つの公開ヘイトスピーチデータセットで一貫した、重要なパフォーマンス改善を実証する。
論文 参考訳（メタデータ） (2020-05-13T15:25:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。