論文の概要: Evaluation of Hate Speech Detection Using Large Language Models and Geographical Contextualization

• arxiv url: http://arxiv.org/abs/2502.19612v1
• Date: Wed, 26 Feb 2025 22:59:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:59:00.212157
• Title: Evaluation of Hate Speech Detection Using Large Language Models and Geographical Contextualization
• Title（参考訳）: 大規模言語モデルと地理的文脈を用いたヘイトスピーチ検出の評価
• Authors: Anwar Hossain Zahid, Monoshi Kumar Roy, Swarna Das,
• Abstract要約: 本研究では,多言語および多様な地理的文脈におけるヘイトスピーチ検出におけるLLMの性能について,系統的に検討した。 Llama2 (13b)、Codellama (7b)、DeepSeekCoder (6.7b)の3つの最先端LCMを評価した。 コーデラマは70.6%、F1スコアは52.18%、DeepSeekCoderは265カ所中63カ所を正確に検出した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The proliferation of hate speech on social media is one of the serious issues that is bringing huge impacts to society: an escalation of violence, discrimination, and social fragmentation. The problem of detecting hate speech is intrinsically multifaceted due to cultural, linguistic, and contextual complexities and adversarial manipulations. In this study, we systematically investigate the performance of LLMs on detecting hate speech across multilingual datasets and diverse geographic contexts. Our work presents a new evaluation framework in three dimensions: binary classification of hate speech, geography-aware contextual detection, and robustness to adversarially generated text. Using a dataset of 1,000 comments from five diverse regions, we evaluate three state-of-the-art LLMs: Llama2 (13b), Codellama (7b), and DeepSeekCoder (6.7b). Codellama had the best binary classification recall with 70.6% and an F1-score of 52.18%, whereas DeepSeekCoder had the best performance in geographic sensitivity, correctly detecting 63 out of 265 locations. The tests for adversarial robustness also showed significant weaknesses; Llama2 misclassified 62.5% of manipulated samples. These results bring to light the trade-offs between accuracy, contextual understanding, and robustness in the current versions of LLMs. This work has thus set the stage for developing contextually aware, multilingual hate speech detection systems by underlining key strengths and limitations, therefore offering actionable insights for future research and real-world applications.
• Abstract（参考訳）: ソーシャルメディアにおけるヘイトスピーチの拡散は、暴力、差別、そして社会的断片化のエスカレーションという、社会に大きな影響を与えている深刻な問題の1つである。 ヘイトスピーチを検出する問題は、文化的、言語的、文脈的な複雑さと敵対的な操作によって本質的に多面化されている。 本研究では,多言語データセットと多様な地理的文脈にまたがるヘイトスピーチ検出におけるLLMの性能について,系統的に検討する。 本研究は,ヘイトスピーチのバイナリ分類,地理認識による文脈検出,対向的に生成されたテキストに対するロバスト性という,新しい評価枠組みを3次元で提示する。 5つの異なる領域からの1,000のコメントのデータセットを使用して、Llama2 (13b)、Codellama (7b)、DeepSeekCoder (6.7b)の3つの最先端LCMを評価する。 コーデラマは70.6%、F1スコアは52.18%、DeepSeekCoderは265カ所中63カ所を正確に検出した。 Llama2は62.5%の操作されたサンプルを誤って分類した。 これらの結果は、LLMの現在のバージョンにおける正確性、文脈的理解、堅牢性の間のトレードオフを浮き彫りにする。 この研究は、重要な強みと限界を基盤として、文脈的に認識された多言語ヘイトスピーチ検出システムを開発するための段階を定め、将来の研究や実世界の応用に実用的な洞察を提供する。

関連論文リスト

• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• Harnessing Artificial Intelligence to Combat Online Hate: Exploring the Challenges and Opportunities of Large Language Models in Hate Speech Detection [4.653571633477755]
  大規模言語モデル(LLM)は、翻訳、要約、感情分析など、言語生成以外の多くの多様なアプリケーションで優れている。 このことは、憎しみや有害なスピーチを識別する領域において、問題や倫理的なジレンマに悩まされる。
  論文  参考訳（メタデータ） (2024-03-12T19:12:28Z)
• An Investigation of Large Language Models for Real-World Hate Speech Detection [46.15140831710683]
  既存の手法の大きな制限は、ヘイトスピーチ検出がコンテキストの問題である点である。 近年,大規模言語モデル (LLM) はいくつかの自然言語処理において最先端の性能を示した。 本研究は, ヘイトスピーチの文脈を効果的に把握する上で, 巧妙な推論プロンプトが有効であることを明らかにする。
  論文  参考訳（メタデータ） (2024-01-07T00:39:33Z)
• Model-Agnostic Meta-Learning for Multilingual Hate Speech Detection [23.97444551607624]
  ソーシャルメディアにおけるヘイトスピーチは増加傾向にあり、そのような有害なコンテンツを検出することが大きな牽引力となっている。 HateMAMLはモデルに依存しないメタ学習ベースのフレームワークで、低リソース言語でのヘイトスピーチ検出を効果的に行う。 大規模な実験は、8つの異なる低リソース言語にわたる5つのデータセットで実施されている。
  論文  参考訳（メタデータ） (2023-03-04T22:28:29Z)
• A New Generation of Perspective API: Efficient Multilingual Character-level Transformers [66.9176610388952]
  Google JigsawのAspective APIの次期バージョンの基礎を提示する。 このアプローチの中心は、単一の多言語トークンフリーなCharformerモデルである。 静的な語彙を強制することで、さまざまな設定で柔軟性が得られます。
  論文  参考訳（メタデータ） (2022-02-22T20:55:31Z)
• Deep Learning for Hate Speech Detection: A Comparative Study [54.42226495344908]
  ここでは, ディープ・ヘイト・音声検出法と浅いヘイト・音声検出法を大規模に比較した。 私たちの目標は、この地域の進歩を照らし、現在の最先端の強みと弱点を特定することです。 そこで我々は,ヘイトスピーチ検出の実践的利用に関するガイダンスの提供,最先端の定量化,今後の研究方向の特定を目的としている。
  論文  参考訳（メタデータ） (2022-02-19T03:48:20Z)
• Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
  本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。 言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。 本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
  論文  参考訳（メタデータ） (2022-01-15T20:48:14Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Leveraging Multilingual Transformers for Hate Speech Detection [11.306581296760864]
  我々は,アートトランスフォーマー言語モデルを用いて,多言語環境でヘイトスピーチを識別する。 学習済みの多言語トランスフォーマーベースのテキストエンコーダをベースとして,複数の言語からヘイトスピーチを識別し,分類することができる。
  論文  参考訳（メタデータ） (2021-01-08T20:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。