論文の概要: Beyond Benchmarks: Exposing the Hidden Crisis in Bangla Hate Speech Detection

• arxiv url: http://arxiv.org/abs/2607.11597v1
• Date: Mon, 13 Jul 2026 14:19:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.501332
• Title: Beyond Benchmarks: Exposing the Hidden Crisis in Bangla Hate Speech Detection
• Title（参考訳）: ベンチマークを超えて:バングラヘイト音声検出で隠れた危機を露呈する
• Authors: Faria Afrin Tisha, Fariya Tabassum, Hafsa Binte Kibria, Md. Nahiduzzaman, Mominul Ahsan,
• Abstract要約: ソーシャルメディアプラットフォーム上でのヘイトスピーチは、オンラインの安全と倫理的モデレーションに大きな懸念をもたらす。 本研究は,ベンチマーク学習モデルが暗黙的かつ文脈依存型HSを識別できない理由と原因を診断することにより,バングラHS検出システムの危機を明らかにすることを目的とした。 絵文字認識前処理は暗黙のHS検出を最大12%向上させたが、絵文字除去は顕著な性能低下を引き起こした。
• 参考スコア（独自算出の注目度）: 3.6609212521250227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The spread of hate speech (HS) across different social media platforms (SMPs) poses a major concern for online safety and ethical moderation. Automatic detection of HS remains a challenging task, especially in under-resourced languages like Bangla, due to cultural context, implicit expressions, and informal linguistic patterns. This study aimed to expose the crisis of Bangla HS detection systems by diagnosing how and why benchmark-trained models fail to identify implicit, context-dependent HS. Six architectures (FastText + CNN, FastText + LSTM, FastText + BiLSTM, BanglaBERT, BanglaBERT + CNN, and BanglaBERT + BiLSTM) were trained on benchmark datasets (about 75,000 posts) and a merged multi-source dataset (about 120,000 posts), then externally validated on an annotated dataset (about 200 posts) collected from Facebook, Twitter, and YouTube, labeled as HS and non-HS, where HS was further categorized as explicit and implicit. BanglaBERT achieved an F1-score of 91.4% on benchmark datasets but declined to 75.3% on the external set and 63.4% for implicit HS involving sarcasm and emojis. The accuracy of FastText + CNN dropped from 78.0% to 51.2% under similar conditions. Emoji-aware preprocessing improved implicit HS detection by up to 12%, whereas emoji removal caused a notable decline in performance (F1: 0.75 to 0.63). Frequent misclassifications in politically charged or satirical comments revealed over-policing risks. This study not only exposes the generalization crisis due to implicit, culturally embedded, and emoji-laden expressions but also underscores the need for developing adaptive, emoji-aware, and culturally grounded frameworks that ensure ethical moderation while preserving freedom of expression. Findings of this study provide insights for researchers, SMPs, and policymakers to design more context-sensitive HS detection systems for low-resource languages.
• Abstract（参考訳）: 異なるソーシャルメディアプラットフォーム(SMP)にまたがるヘイトスピーチ(HS)の拡散は、オンラインの安全と倫理的モデレーションに大きな懸念をもたらす。 HSの自動検出は、文化的な文脈、暗黙の表現、非公式な言語パターンのため、特にBanglaのような未公開言語では難しい課題である。 本研究は,ベンチマーク学習モデルが暗黙的かつ文脈依存型HSを識別できない理由と原因を診断することにより,バングラHS検出システムの危機を明らかにすることを目的とした。 6つのアーキテクチャ(FastText + CNN, FastText + LSTM, FastText + BiLSTM, BanglaBERT, BanglaBERT + CNN, BanglaBERT + BiLSTM)がベンチマークデータセット(約75,000の投稿)とマージされたマルチソースデータセット(約12000の投稿)でトレーニングされ、その後、Facebook、Twitter、YouTubeから収集されたアノテーション付きデータセット(約200の投稿)で外部から検証された。 BanglaBERTはベンチマークデータセットで91.4%のF1スコアを達成したが、外部セットでは75.3%、暗黙のHSでは63.4%に低下した。 FastText + CNNの精度は78.0%から51.2%に低下した。 絵文字認識前処理は暗黙のHS検出を最大12%改善したのに対し、絵文字除去は顕著な性能低下を引き起こした(F1: 0.75 - 0.63)。 政治的に告発されたり、風刺的なコメントでしばしば誤分類されたことは、警察の過度なリスクを明らかにした。 この研究は、暗黙的、文化的に埋め込まれた、そして絵文字を織り込んだ表現による一般化の危機を露呈するだけでなく、表現の自由を維持しながら倫理的モデレーションを確保する適応的で、絵文字を意識し、文化的に根ざした枠組みを開発する必要性も浮き彫りにしている。 この研究の発見は、研究者、SMP、政策立案者に対して、低リソース言語のためのより文脈に敏感なHS検出システムを設計するための洞察を与える。

関連論文リスト

• DIA-HARM: Dialectal Disparities in Harmful Content Detection Across 50 English Dialects [6.107850985025956]
  本稿では,50の英語方言における偽情報検出のための最初のベンチマークであるDIA-HARMを提案する。 人間による方言の含有量は1.4-3.6%減少し、一方でAI生成された内容は安定している。 私たちはDIA-HARMフレームワーク、D3コーパス、評価ツールをリリースします。
  論文  参考訳（メタデータ） (2026-04-07T01:43:48Z)
• Improving Code-Switching Speech Recognition with TTS Data Augmentation [58.34842693152991]
  本稿では,この不足に対処する効果的なデータ拡張手法として,多言語テキスト音声(TTS)モデルについて検討する。 我々は、SEAMEデータセット上の多言語CosyVoice2 TTSモデルを微調整し、中国語と英語の合成音声を生成する。
  論文  参考訳（メタデータ） (2026-01-02T10:11:51Z)
• Cyberbullying Detection in Hinglish Text Using MURIL and Explainable AI [0.356008609689971]
  デジタルプラットフォーム上でのHindi-English(Hinglish)通信のコード混在は、既存のサイバーいじめ検知システムに課題をもたらす。 本稿では,インド語多言語表現(MURIL)アーキテクチャを用いたHinglishテキストにおけるサイバーいじめ検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-19T06:46:42Z)
• POSTER: A Multi-Signal Model for Detecting Evasive Smishing [2.7039386580759666]
  本研究では,国別セマンティックタグ,構造パターンタグ,文字レベルのスタイリスティックキュー,文脈語句埋め込みを組み合わせたマルチチャネルスマイシング検出モデルを提案する。 私たちは、24,086個のスマイシングサンプルを含む5つのデータセットで84,000以上のメッセージをキュレートし、レバーベリングしました。 我々の統合アーキテクチャは、97.89%の精度、0.963のF1スコア、99.73%のAUCを達成し、多種多様な言語的および構造的手がかりを捉え、シングルストリームモデルより優れている。
  論文  参考訳（メタデータ） (2025-05-23T12:45:34Z)
• Text Injection for Neural Contextual Biasing [57.589903308622745]
  本研究では文脈テキストインジェクション(CTI)を提案する。 1000億のテキストを持つCTIは、強い神経バイアスモデルから43.3%の相対的なWER削減を達成することができる。
  論文  参考訳（メタデータ） (2024-06-05T04:20:17Z)
• CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models [52.25049362267279]
  本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。 データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。 大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
  論文  参考訳（メタデータ） (2023-06-28T14:14:44Z)
• Overview of Abusive and Threatening Language Detection in Urdu at FIRE 2021 [50.591267188664666]
  我々は、ウルドゥー語に対する虐待と脅しの2つの共通タスクを提示する。 本研究では, (i) 乱用と非乱用というラベル付きツイートを含む手動注釈付きデータセットと, (ii) 脅威と非脅威の2つを提示する。 両方のサブタスクに対して、m-Bertベースのトランスモデルは最高の性能を示した。
  論文  参考訳（メタデータ） (2022-07-14T07:38:13Z)
• BD-SHS: A Benchmark Dataset for Learning to Detect Online Bangla Hate Speech in Different Social Contexts [1.5483942282713241]
  本稿では,Hate Speechをソーシャルコンテキストに含めた大規模ラベル付きデータセットを提案する。 データセットには、オンラインソーシャルネットワークサイトからクロールされた50,200件以上の攻撃的なコメントが含まれている。 実験の結果,147万コメントのみを用いてトレーニングした単語の埋め込みが一貫してHS検出のモデリングを改善することがわかった。
  論文  参考訳（メタデータ） (2022-06-01T10:10:15Z)
• COLD: A Benchmark for Chinese Offensive Language Detection [54.60909500459201]
  COLDatasetは、37kの注釈付き文を持つ中国の攻撃的言語データセットである。 また、人気のある中国語モデルの出力攻撃性を研究するために、textscCOLDetectorを提案する。 我々の資源と分析は、中国のオンラインコミュニティを解毒し、生成言語モデルの安全性を評価することを目的としている。
  論文  参考訳（メタデータ） (2022-01-16T11:47:23Z)
• HS-BAN: A Benchmark Dataset of Social Media Comments for Hate Speech Detection in Bangla [2.055204980188575]
  本稿では,5万以上のラベル付きコメントからなる2進級ヘイトスピーチデータセットであるHS-BANを提案する。 本稿では,ヘイトスピーチ検出のためのベンチマークシステムを開発するために,従来の言語機能とニューラルネットワークに基づく手法について検討する。 我々のベンチマークでは、FastTextの非公式な単語埋め込みの上にBi-LSTMモデルがあり、86.78%のF1スコアを達成した。
  論文  参考訳（メタデータ） (2021-12-03T13:35:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。