論文の概要: HateDay: Insights from a Global Hate Speech Dataset Representative of a Day on Twitter

• arxiv url: http://arxiv.org/abs/2411.15462v2
• Date: Sat, 31 May 2025 04:52:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 20:53:53.04965
• Title: HateDay: Insights from a Global Hate Speech Dataset Representative of a Day on Twitter
• Title（参考訳）: HateDay: 世界のヘイトスピーチデータセットからTwitterで1日を振り返る
• Authors: Manuel Tonneau, Diyi Liu, Niyati Malhotra, Scott A. Hale, Samuel P. Fraiberger, Victor Orozco-Olvera, Paul Röttger,
• Abstract要約: ソーシャルメディア設定を代表した初のグローバルヘイトスピーチデータセットであるHateDayを紹介する。 本研究では,学術データセットに対する評価が実世界の検出性能を大幅に過大評価していることを示す。 モデル性能の低さは、公的なモデルを自動ヘイトスピーチのモデレーションに不適当にしている、と我々は主張する。
• 参考スコア（独自算出の注目度）: 9.120816065488876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To address the global challenge of online hate speech, prior research has developed detection models to flag such content on social media. However, due to systematic biases in evaluation datasets, the real-world effectiveness of these models remains unclear, particularly across geographies. We introduce HateDay, the first global hate speech dataset representative of social media settings, constructed from a random sample of all tweets posted on September 21, 2022 and covering eight languages and four English-speaking countries. Using HateDay, we uncover substantial variation in the prevalence and composition of hate speech across languages and regions. We show that evaluations on academic datasets greatly overestimate real-world detection performance, which we find is very low, especially for non-European languages. Our analysis identifies key drivers of this gap, including models' difficulty to distinguish hate from offensive speech and a mismatch between the target groups emphasized in academic datasets and those most frequently targeted in real-world settings. We argue that poor model performance makes public models ill-suited for automatic hate speech moderation and find that high moderation rates are only achievable with substantial human oversight. Our results underscore the need to evaluate detection systems on data that reflects the complexity and diversity of real-world social media.
• Abstract（参考訳）: オンラインヘイトスピーチの世界的な課題に対処するため、先行研究はソーシャルメディアにそのようなコンテンツをフラグ付けするための検出モデルを開発した。 しかしながら、評価データセットの体系的なバイアスのため、これらのモデルの現実的な有効性は、特に地理的に不明確である。 我々は、2022年9月21日に投稿された全ツイートのランダムなサンプルから構築され、8つの言語と4つの英語圏をカバーした、ソーシャルメディア設定を代表する最初のグローバルヘイトスピーチデータセットであるHateDayを紹介した。 HateDayを用いて、言語や地域間でのヘイトスピーチの頻度と構成のかなりの変化を明らかにした。 学術データセットに対する評価は実世界の検出性能を大幅に過大評価しており、特に非ヨーロッパ言語では、非常に低い結果が得られている。 分析では、攻撃的なスピーチから憎しみを区別することの難しさや、学術的なデータセットで強調されるターゲットグループと、現実世界で最も頻繁にターゲットされるグループとのミスマッチなど、このギャップの要因を特定した。 モデル性能の低さは、公的なモデルを自動ヘイトスピーチのモデレーションに不適当にし、高いモデレーションレートは人間をかなり監視する上でのみ達成可能であると我々は主張する。 この結果から,実世界のソーシャルメディアの複雑さと多様性を反映したデータ検出システムの評価の必要性が示唆された。

関連論文リスト

• Compositional Generalisation for Explainable Hate Speech Detection [52.41588643566991]
  ヘイトスピーチ検出はオンラインコンテンツモデレーションの鍵であるが、現在のモデルはトレーニングデータ以上の一般化に苦慮している。 モデルがよりきめ細かなスパンレベルのアノテーションでトレーニングされている場合でも、それらのラベルの意味を周囲のコンテキストから切り離すことに苦労しています。 本研究では,すべての文脈で同じ頻度で表現が生じるデータセット上でのトレーニングにより,一般化が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-06-04T13:07:36Z)
• Dealing with Annotator Disagreement in Hate Speech Classification [0.0]
  本稿では,アノテータの不一致に対処するための戦略について検討する。 トルコのつぶやきにおけるヘイトスピーチ分類に関するアノテータの不一致に対処するための様々なアプローチを、細調整されたBERTモデルに基づいて評価した。 本研究は,問題の重要性を強調し,オンライン談話におけるヘイトスピーチの検出と理解のための最先端のベンチマーク結果を提供する。
  論文  参考訳（メタデータ） (2025-02-12T10:19:50Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model [57.78191634042409]
  擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。 4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:55:21Z)
• Analysis and Detection of Multilingual Hate Speech Using Transformer Based Deep Learning [7.332311991395427]
  ヘイトスピーチの普及に伴い,NLPタスクとしての自動検出の需要が高まっている。 本研究では、Twitter、Facebook、WhatsApp、Instagramなどのソーシャルメディアにおけるヘイトスピーチを検出するために、トランスフォーマーベースのモデルを提案する。 金の標準データセットは、著名な研究者Zeerak Talat、Sara Tonelli、Melanie Siegel、Rezaul Karimから収集された。 ヘイトスピーチ検出のための提案されたモデルの成功率は、ベンガルデータセットの精度の高い既存のベースラインや最先端モデルよりも高く、英語では89%、ドイツ語では91%である。
  論文  参考訳（メタデータ） (2024-01-19T20:40:23Z)
• MetaHate: A Dataset for Unifying Efforts on Hate Speech Detection [2.433983268807517]
  ヘイトスピーチは、標的となる個人やコミュニティに対して、社会的、心理的、時には身体的脅威を生じさせる。 この現象に対処するための現在の計算言語学的アプローチは、トレーニングのためのラベル付きソーシャルメディアデータセットに依存している。 我々は60以上のデータセットを精査し、その関連するものをMetaHateに選択的に統合しました。 我々の発見は、既存のデータセットのより深い理解に寄与し、より堅牢で適応可能なモデルをトレーニングするための道を開いた。
  論文  参考訳（メタデータ） (2024-01-12T11:54:53Z)
• Into the LAIONs Den: Investigating Hate in Multimodal Datasets [67.21783778038645]
  本稿では、LAION-400MとLAION-2Bの2つのデータセットの比較監査を通して、ヘイトフルコンテンツに対するデータセットのスケーリングの効果について検討する。 その結果、データセットのスケールによってヘイトコンテンツは12%近く増加し、質的にも定量的にも測定された。 また、画像のみに基づいて算出されたNot Safe For Work(NSFW)値に基づくデータセットの内容のフィルタリングは、アルトテキストにおける有害なコンテンツをすべて排除するものではないことがわかった。
  論文  参考訳（メタデータ） (2023-11-06T19:00:05Z)
• How to Solve Few-Shot Abusive Content Detection Using the Data We Actually Have [58.23138483086277]
  この作業では、すでに持っているデータセットを活用し、虐待的な言語検出に関連する幅広いタスクをカバーしています。 私たちのゴールは、ターゲットドメインのトレーニング例を少しだけ使用して、新しいターゲットラベルセットや/または言語のために、安価にモデルを構築することです。 実験の結果、すでに存在するデータセットと、対象タスクのほんの数ショットしか使用していないモデルの性能が、モノリンガル言語と言語間で改善されていることがわかった。
  論文  参考訳（メタデータ） (2023-05-23T14:04:12Z)
• CoSyn: Detecting Implicit Hate Speech in Online Conversations Using a Context Synergized Hyperbolic Network [52.85130555886915]
  CoSynは、オンライン会話における暗黙のヘイトスピーチを検出するために、ユーザと会話のコンテキストを明示的に組み込んだ、コンテキスト中心のニューラルネットワークである。 我々は、CoSynが、1.24%から57.8%の範囲で絶対的に改善された暗黙のヘイトスピーチを検出することで、我々のベースラインを全て上回っていることを示す。
  論文  参考訳（メタデータ） (2023-03-02T17:30:43Z)
• A New Generation of Perspective API: Efficient Multilingual Character-level Transformers [66.9176610388952]
  Google JigsawのAspective APIの次期バージョンの基礎を提示する。 このアプローチの中心は、単一の多言語トークンフリーなCharformerモデルである。 静的な語彙を強制することで、さまざまな設定で柔軟性が得られます。
  論文  参考訳（メタデータ） (2022-02-22T20:55:31Z)
• Deep Learning for Hate Speech Detection: A Comparative Study [54.42226495344908]
  ここでは, ディープ・ヘイト・音声検出法と浅いヘイト・音声検出法を大規模に比較した。 私たちの目標は、この地域の進歩を照らし、現在の最先端の強みと弱点を特定することです。 そこで我々は,ヘイトスピーチ検出の実践的利用に関するガイダンスの提供,最先端の定量化,今後の研究方向の特定を目的としている。
  論文  参考訳（メタデータ） (2022-02-19T03:48:20Z)
• Highly Generalizable Models for Multilingual Hate Speech Detection [0.0]
  ヘイトスピーチ検出は過去10年で重要な研究課題となっている。 我々は11言語からなるデータセットをコンパイルし、組み合わせたデータとバイナリラベル(ヘイトスピーチかヘイトスピーチでないか)を解析することで、異なる解決を行う。 多言語-トレイン型モノリンガルテスト,モノリンガルトレイン型モノリンガルテスト,言語-家族型モノリンガルテストのシナリオである。
  論文  参考訳（メタデータ） (2022-01-27T03:09:38Z)
• Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
  本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。 言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。 本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
  論文  参考訳（メタデータ） (2022-01-15T20:48:14Z)
• Reducing Target Group Bias in Hate Speech Detectors [56.94616390740415]
  大規模な公開データセットでトレーニングされたテキスト分類モデルは、いくつかの保護されたグループで大幅に性能が低下する可能性がある。 本稿では,トークンレベルのヘイトセンスの曖昧さを実現し,トークンのヘイトセンスの表現を検知に利用することを提案する。
  論文  参考訳（メタデータ） (2021-12-07T17:49:34Z)
• Cross-lingual Capsule Network for Hate Speech Detection in Social Media [6.531659195805749]
  本研究では,言語間のヘイトスピーチ検出タスクについて検討し,ヘイトスピーチのリソースをある言語から別の言語に適応させることによって問題に対処する。 本稿では,ヘイトスピーチのための言語間カプセルネットワーク学習モデルと追加のドメイン固有語彙意味論を組み合わせることを提案する。 私たちのモデルは、AMI@Evalita 2018とAMI@Ibereval 2018のベンチマークデータセットで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2021-08-06T12:53:41Z)
• Statistical Analysis of Perspective Scores on Hate Speech Detection [7.447951461558536]
  最先端のヘイトスピーチ分類器は、トレーニングデータと同じ特徴分布を持つデータ上でテストする場合のみ効率的である。 このような低レベルの特徴に依存する多様なデータ分布は、データの自然なバイアスによる欠如の主な原因である。 異なるヘイトスピーチデータセットは、パースペクティブスコアを抽出するという点では、非常によく似ている。
  論文  参考訳（メタデータ） (2021-06-22T17:17:35Z)
• Towards generalisable hate speech detection: a review on obstacles and solutions [6.531659195805749]
  本稿では,既存のヘイトスピーチ検出モデルの一般化について概説する。 主な障害に対処する既存の試みを要約し、ヘイトスピーチ検出における一般化を改善するための今後の研究の方向性を提案する。
  論文  参考訳（メタデータ） (2021-02-17T17:27:48Z)
• An Online Multilingual Hate speech Recognition System [13.87667165678441]
  6つのデータセットを1つの同質なデータセットに組み合わせて分析し、3つのクラスに分類します。 ほぼリアルタイムで有効なメトリックでページを識別し、スコア付けするツールを作成し、フィードバックでモデルを再トレーニングします。 英語とヒンディー語という2つの言語モデル上での多言語モデルの競合性能を証明し、ほとんどの単言語モデルに匹敵するあるいは優れた性能をもたらす。
  論文  参考訳（メタデータ） (2020-11-23T16:33:48Z)
• Towards Hate Speech Detection at Large via Deep Generative Modeling [4.080068044420974]
  ヘイトスピーチ検出はソーシャルメディアプラットフォームにおいて重要な問題である。 生成言語モデルにより生成された100万件の現実的憎悪と非憎悪のシーケンスのデータセットを提示する。 5つの公開ヘイトスピーチデータセットで一貫した、重要なパフォーマンス改善を実証する。
  論文  参考訳（メタデータ） (2020-05-13T15:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。