論文の概要: Multilingual Hate Speech Detection in Social Media Using Translation-Based Approaches with Large Language Models

• arxiv url: http://arxiv.org/abs/2506.08147v1
• Date: Mon, 09 Jun 2025 18:53:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:40.466934
• Title: Multilingual Hate Speech Detection in Social Media Using Translation-Based Approaches with Large Language Models
• Title（参考訳）: 翻訳に基づく大規模言語モデルを用いたソーシャルメディアの多言語ヘイト音声検出
• Authors: Muhammad Usman, Muhammad Ahmad, M. Shahiki Tash, Irina Gelbukh, Rolando Quintero Tellez, Grigori Sidorov,
• Abstract要約: キーワードフィルタリングにより収集した英語,ウルドゥー語,スペイン語で10,193ツイートのトリリンガルデータセットを導入する。 GPT-3.5 Turbo と Qwen 2.5 72B をアテンション層に統合することで,高い性能を実現する。 我々のフレームワークは、多言語ヘイトスピーチ検出のための堅牢なソリューションを提供し、世界中のより安全なデジタルコミュニティを育む。
• 参考スコア（独自算出の注目度）: 4.66584517664999
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Social media platforms are critical spaces for public discourse, shaping opinions and community dynamics, yet their widespread use has amplified harmful content, particularly hate speech, threatening online safety and inclusivity. While hate speech detection has been extensively studied in languages like English and Spanish, Urdu remains underexplored, especially using translation-based approaches. To address this gap, we introduce a trilingual dataset of 10,193 tweets in English (3,834 samples), Urdu (3,197 samples), and Spanish (3,162 samples), collected via keyword filtering, with a balanced distribution of 4,849 Hateful and 5,344 Not-Hateful labels. Our methodology leverages attention layers as a precursor to transformer-based models and large language models (LLMs), enhancing feature extraction for multilingual hate speech detection. For non-transformer models, we use TF-IDF for feature extraction. The dataset is benchmarked using state-of-the-art models, including GPT-3.5 Turbo and Qwen 2.5 72B, alongside traditional machine learning models like SVM and other transformers (e.g., BERT, RoBERTa). Three annotators, following rigorous guidelines, ensured high dataset quality, achieving a Fleiss' Kappa of 0.821. Our approach, integrating attention layers with GPT-3.5 Turbo and Qwen 2.5 72B, achieves strong performance, with macro F1 scores of 0.87 for English (GPT-3.5 Turbo), 0.85 for Spanish (GPT-3.5 Turbo), 0.81 for Urdu (Qwen 2.5 72B), and 0.88 for the joint multilingual model (Qwen 2.5 72B). These results reflect improvements of 8.75% in English (over SVM baseline 0.80), 8.97% in Spanish (over SVM baseline 0.78), 5.19% in Urdu (over SVM baseline 0.77), and 7.32% in the joint multilingual model (over SVM baseline 0.82). Our framework offers a robust solution for multilingual hate speech detection, fostering safer digital communities worldwide.
• Abstract（参考訳）: ソーシャルメディアプラットフォームは、世論、意見の形成、コミュニティのダイナミクスにとって重要な空間であるが、彼らの広く使われていることは有害なコンテンツ、特にヘイトスピーチを増幅し、オンラインの安全性と傾向を脅かしている。 ヘイトスピーチの検出は、英語やスペイン語などの言語で広く研究されているが、ウルドゥー語は、特に翻訳に基づくアプローチを用いて、未調査のままである。 このギャップに対処するために、キーワードフィルタリングによって収集された英語の10,193ツイート(3,834サンプル)、ウルドゥー(3,197サンプル)、スペイン語(3,162サンプル)のトリリンガルデータセットを導入し、バランスの取れた分布は4,849Hatefulと5,344Not-Hatefulラベルである。 提案手法は,多言語ヘイトスピーチ検出のための特徴抽出を強化し,トランスフォーマーベースモデルと大規模言語モデル(LLM)の前駆体として注目層を利用する。 非トランスフォーマーモデルでは、特徴抽出にTF-IDFを用いる。 データセットは、GPT-3.5 TurboやQwen 2.5 72Bといった最先端モデルと、SVMなどの従来の機械学習モデル(例えば、BERT、RoBERTa)を使用してベンチマークされる。 厳格なガイドラインに従って、3つのアノテータがデータセットの品質を保証し、FleissのKappaの0.821を達成した。 GPT-3.5 Turbo と Qwen 2.5 72B をアテンション層に統合した手法は,英語で0.87点,スペイン語で0.85点,ウルドゥー語で0.81点(Qwen 2.5 72B),共同多言語モデルで0.88点(Qwen 2.5 72B)という高い性能を実現している。 これらの結果は、英語の8.75%(SVMベースライン0.80以上)、スペイン語の8.97%(SVMベースライン0.78以上)、ウルドゥー語の5.19%(SVMベースライン0.77以上)、共同多言語モデルの7.32%(SVMベースライン0.82以上)の改善を反映している。 我々のフレームワークは、多言語ヘイトスピーチ検出のための堅牢なソリューションを提供し、世界中のより安全なデジタルコミュニティを育む。

関連論文リスト

• Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval [49.1574468325115]
  トレーニング済みのAmharic BERTとRoBERTaのバックボーンをベースとした,Amharic固有の高密度検索モデルを提案する。 提案したRoBERTa-Base-Amharic-Embedモデル(110Mパラメータ)は,MRR@10の相対的な改善を17.6%達成する。 RoBERTa-Medium-Amharic-Embed (42M)のようなよりコンパクトな派生型は13倍以上小さいまま競争力を維持している。
  論文  参考訳（メタデータ） (2025-05-25T23:06:20Z)
• NLPineers@ NLU of Devanagari Script Languages 2025: Hate Speech Detection using Ensembling of BERT-based models [0.9974630621313314]
  本稿では,ヒンディー語とネパール語に着目し,デバナガリ文字言語におけるヘイトスピーチの検出に焦点を当てた。 本研究では,様々なトランスフォーマーモデルを用いて,ヘイトスピーチと自由表現のニュアンス境界をナビゲートする効果について検討する。 この研究は、デバナガリ文字言語におけるヘイトスピーチ検出の必要性を強調し、さらなる研究の基盤を提供する。
  論文  参考訳（メタデータ） (2024-12-11T07:37:26Z)
• HateGPT: Unleashing GPT-3.5 Turbo to Combat Hate Speech on X [0.0]
  マクロF1スコアを用いた分類モデルの性能評価を行った。 その結果,ラン1が最高性能を示し,精度とリコールの点でモデルが一貫して良好に動作していることが示唆された。
  論文  参考訳（メタデータ） (2024-11-14T06:20:21Z)
• Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone [289.9290405258526]
  我々は3.3兆のトークンでトレーニングされた38億のパラメータ言語モデルであるphi-3-miniを紹介する。 MMLUでは69%、MTベンチでは8.38である。 本稿では, phi-3.5-mini, phi-3.5-MoE, phi-3.5-Visionの3モデルを紹介する。
  論文  参考訳（メタデータ） (2024-04-22T14:32:33Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
  文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。 大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。 実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
  論文  参考訳（メタデータ） (2022-05-17T19:52:42Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。