論文の概要: BIDWESH: A Bangla Regional Based Hate Speech Detection Dataset

• arxiv url: http://arxiv.org/abs/2507.16183v1
• Date: Tue, 22 Jul 2025 02:53:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:13.941232
• Title: BIDWESH: A Bangla Regional Based Hate Speech Detection Dataset
• Title（参考訳）: BIDWESH:バングラ地域のヘイトスピーチ検出データセット
• Authors: Azizul Hakim Fayaz, MD. Shorif Uddin, Rayhan Uddin Bhuiyan, Zakia Sultana, Md. Samiul Islam, Bidyarthi Paul, Tashreef Muhammad, Shahriar Manzoor,
• Abstract要約: 本研究は,バングラヘイトスピーチデータセットであるBIDWESHを紹介する。 BD-SHSコーパスから9,183のインスタンスを3つの主要地域方言に翻訳し、注釈付けすることで構築された。 その結果得られたデータセットは、バングラでヘイトスピーチの検出を進めるための言語的にリッチでバランスの取れた、包括的なリソースを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hate speech on digital platforms has become a growing concern globally, especially in linguistically diverse countries like Bangladesh, where regional dialects play a major role in everyday communication. Despite progress in hate speech detection for standard Bangla, Existing datasets and systems fail to address the informal and culturally rich expressions found in dialects such as Barishal, Noakhali, and Chittagong. This oversight results in limited detection capability and biased moderation, leaving large sections of harmful content unaccounted for. To address this gap, this study introduces BIDWESH, the first multi-dialectal Bangla hate speech dataset, constructed by translating and annotating 9,183 instances from the BD-SHS corpus into three major regional dialects. Each entry was manually verified and labeled for hate presence, type (slander, gender, religion, call to violence), and target group (individual, male, female, group), ensuring linguistic and contextual accuracy. The resulting dataset provides a linguistically rich, balanced, and inclusive resource for advancing hate speech detection in Bangla. BIDWESH lays the groundwork for the development of dialect-sensitive NLP tools and contributes significantly to equitable and context-aware content moderation in low-resource language settings.
• Abstract（参考訳）: 特にバングラデシュのような言語的に多様な国では、地域方言が日常的なコミュニケーションにおいて重要な役割を果たしている。 標準バングラ語に対するヘイトスピーチ検出の進歩にもかかわらず、既存のデータセットやシステムは、バリシャリ語、ノアカリー語、チッタゴン語などの方言に見られる非公式で文化的に豊かな表現に対処することができない。 この監視は、検出能力の制限とモデレーションの偏りをもたらし、有害なコンテンツの大部分を未確認のまま残す。 このギャップに対処するため,BD-SHSコーパスから9,183のインスタンスを3つの主要方言に翻訳・注釈することで構築された,バングラヘイト音声データセットであるBIDWESHを導入した。 各エントリーは、ヘイトの存在、タイプ(スランダー、性別、宗教、暴力への呼びかけ)、ターゲットグループ(個人、男性、女性、グループ)、言語的および文脈的正確性を保証するために手動で検証され、ラベル付けされた。 その結果得られたデータセットは、バングラでヘイトスピーチの検出を進めるための言語的にリッチでバランスの取れた、包括的なリソースを提供する。 BIDWESHは、方言に敏感なNLPツールの開発の基礎を築き、低リソース言語設定における公平でコンテキスト対応のコンテンツモデレーションに大きく貢献する。

関連論文リスト

• ANUBHUTI: A Comprehensive Corpus For Sentiment Analysis In Bangla Regional Languages [0.5062312533373298]
  ANUBHUTIは、低資源バングラ方言における感情分析のためのリソースの重大なギャップを埋める。 このデータセットは、バングラデシュの現代社会の政治的景観を反映して、政治的および宗教的な内容が特徴的である。 データセットは、欠落したデータ、異常、不整合の体系的なチェックによってさらに改善された。
  論文  参考訳（メタデータ） (2025-06-26T18:13:54Z)
• BOISHOMMO: Holistic Approach for Bangla Hate Speech [0.0]
  包括的なデータセットは、Banglaのような制約のあるリソース言語の主な問題である。 BOISHOMMOは、2000以上の注釈付き例とともに、バングラにおけるヘイトスピーチの微妙な理解を提供している。
  論文  参考訳（メタデータ） (2025-04-11T10:14:40Z)
• BanglaDialecto: An End-to-End AI-Powered Regional Speech Standardization [7.059964549363294]
  本研究は、方言のNoakhali音声を標準のBangla音声に変換するためのエンドツーエンドパイプラインを提案する。 約55の異なる方言が1億6000万人が話しており、バングラ方言に対処することは包括的コミュニケーションツールの開発に不可欠である。 実験の結果,Whisper ASRモデルが0.8%,WERが1.5%,BanglaT5モデルが41.6%,BLEUが41.6%であった。
  論文  参考訳（メタデータ） (2024-11-16T20:20:15Z)
• BanTH: A Multi-label Hate Speech Detection Dataset for Transliterated Bangla [0.0]
  我々は,37.3kサンプルからなるバングラヘイト音声データセットであるBanTHを紹介する。 サンプルはYouTubeコメントからソースされ、各インスタンスに1つ以上のターゲットグループをラベル付けする。 実験により、さらに事前訓練されたエンコーダが、BanTHデータセット上で最先端のパフォーマンスを実現していることが明らかになった。
  論文  参考訳（メタデータ） (2024-10-17T07:15:15Z)
• Voices Unheard: NLP Resources and Models for Yorùbá Regional Dialects [72.18753241750964]
  Yorub'aは、約4700万人の話者を持つアフリカの言語である。 アフリカ語のためのNLP技術開発への最近の取り組みは、彼らの標準方言に焦点を当てている。 我々は、このギャップを埋めるために、新しい高品質のパラレルテキストと音声コーパスを導入する。
  論文  参考訳（メタデータ） (2024-06-27T22:38:04Z)
• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• Harnessing Pre-Trained Sentence Transformers for Offensive Language Detection in Indian Languages [0.6526824510982802]
  この研究はヘイトスピーチ検出の領域に踏み込み、ベンガル語、アサメセ語、グジャラート語という3つの低リソースのインドの言語に特に重点を置いている。 この課題は、ツイートが攻撃的コンテンツを含むか、非攻撃的コンテンツを含むかを識別することを目的としたテキスト分類タスクである。 我々は,事前学習したBERTモデルとSBERTモデルを微調整し,ヘイトスピーチの同定の有効性を評価する。
  論文  参考訳（メタデータ） (2023-10-03T17:53:09Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Automatic Dialect Density Estimation for African American English [74.44807604000967]
  アフリカ・アメリカン・イングリッシュ(AAE)方言の方言密度の自動予測について検討する。 方言密度は、非標準方言の特徴を含む発話における単語の割合として定義される。 このデータベースでは,AAE音声に対する予測された真理弁証密度と地上の真理弁証密度との間に有意な相関関係を示す。
  論文  参考訳（メタデータ） (2022-04-03T01:34:48Z)
• Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
  本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。 言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。 本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
  論文  参考訳（メタデータ） (2022-01-15T20:48:14Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。