論文の概要: Evaluating ChatGPT's Performance for Multilingual and Emoji-based Hate Speech Detection

• arxiv url: http://arxiv.org/abs/2305.13276v2
• Date: Tue, 23 May 2023 03:39:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 10:52:44.557372
• Title: Evaluating ChatGPT's Performance for Multilingual and Emoji-based Hate Speech Detection
• Title（参考訳）: 多言語および絵文字に基づくHate音声検出におけるChatGPTの性能評価
• Authors: Mithun Das, Saurabh Kumar Pandey, Animesh Mukherjee
• Abstract要約: ChatGPTのような大規模言語モデルは、ヘイトスピーチ検出など、いくつかのタスクを実行する上で大きな可能性を最近示した。 本研究では,ChatGPTモデルの長所と短所を,11言語にわたるヘッジ音声の粒度レベルで評価することを目的とした。
• 参考スコア（独自算出の注目度）: 4.809236881780707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hate speech is a severe issue that affects many online platforms. So far, several studies have been performed to develop robust hate speech detection systems. Large language models like ChatGPT have recently shown a great promise in performing several tasks, including hate speech detection. However, it is crucial to comprehend the limitations of these models to build robust hate speech detection systems. To bridge this gap, our study aims to evaluate the strengths and weaknesses of the ChatGPT model in detecting hate speech at a granular level across 11 languages. Our evaluation employs a series of functionality tests that reveals various intricate failures of the model which the aggregate metrics like macro F1 or accuracy are not able to unfold. In addition, we investigate the influence of complex emotions, such as the use of emojis in hate speech, on the performance of the ChatGPT model. Our analysis highlights the shortcomings of the generative models in detecting certain types of hate speech and highlighting the need for further research and improvements in the workings of these models.
• Abstract（参考訳）: ヘイトスピーチは多くのオンラインプラットフォームに影響を与える深刻な問題である。 これまで、ロバストなヘイトスピーチ検出システムを開発するために、いくつかの研究が行われている。 ChatGPTのような大規模言語モデルは、ヘイトスピーチ検出など、いくつかのタスクを実行する上で大きな可能性を最近示した。 しかし,頑健なヘイトスピーチ検出システムを構築するためには,これらのモデルの限界を理解することが重要である。 このギャップを埋めるため,本研究は11言語間におけるヘイトスピーチの検出におけるchatgptモデルの強みと弱みを評価することを目的としている。 我々の評価では、マクロF1や精度のような集約的なメトリクスが展開できない、モデルの様々な複雑な失敗を明らかにする一連の機能テストを採用している。 さらに、ヘイトスピーチにおける絵文字の使用などの複雑な感情がChatGPTモデルの性能に及ぼす影響について検討する。 本分析は,ある種のヘイトスピーチの検出における生成モデルの欠点を浮き彫りにして,これらのモデルの研究と改善の必要性を強調した。

関連論文リスト

• Hierarchical Sentiment Analysis Framework for Hate Speech Detection: Implementing Binary and Multiclass Classification Strategy [0.0]
  本稿では,英語におけるヘイトスピーチを検出するために,共有感情表現と統合された新しいマルチタスクモデルを提案する。 我々は、感情分析とトランスフォーマーに基づく訓練モデルを利用することで、複数のデータセット間でのヘイトスピーチの検出を大幅に改善できると結論付けた。
  論文  参考訳（メタデータ） (2024-11-03T04:11:33Z)
• Exploring Large Language Models for Hate Speech Detection in Rioplatense Spanish [0.08192907805418582]
  ヘイトスピーチ検出は多くの言語変種、スラング、スラー、表現モダリティ、文化的ニュアンスを扱う。 本研究では,リオプラテンセ・スペイン語のヘイトスピーチ検出における大規模言語モデルの性能について,簡単な解析を行った。
  論文  参考訳（メタデータ） (2024-10-16T02:32:12Z)
• Bridging Modalities: Enhancing Cross-Modality Hate Speech Detection with Few-Shot In-Context Learning [4.136573141724715]
  インターネット上でのヘイトスピーチは、デジタルプラットフォームの安全性にとって大きな課題となる。 近年の研究では、特定のモダリティに合わせた検出モデルが開発されている。 本研究では,大規模言語モデルを用いたテキスト内学習を多用した広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-10-08T01:27:12Z)
• An Investigation of Large Language Models for Real-World Hate Speech Detection [46.15140831710683]
  既存の手法の大きな制限は、ヘイトスピーチ検出がコンテキストの問題である点である。 近年,大規模言語モデル (LLM) はいくつかの自然言語処理において最先端の性能を示した。 本研究は, ヘイトスピーチの文脈を効果的に把握する上で, 巧妙な推論プロンプトが有効であることを明らかにする。
  論文  参考訳（メタデータ） (2024-01-07T00:39:33Z)
• SpeechX: Neural Codec Language Model as a Versatile Speech Transformer [57.82364057872905]
  SpeechX は、ゼロショット TTS と様々な音声変換タスクが可能な汎用音声生成モデルである。 実験結果から, ゼロショットTS, ノイズ抑制, ターゲット話者抽出, 音声除去, 背景雑音の有無による音声編集など, 各種タスクにおけるSpeechXの有効性が示された。
  論文  参考訳（メタデータ） (2023-08-14T01:01:19Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• Multilingual HateCheck: Functional Tests for Multilingual Hate Speech Detection Models [14.128029444990895]
  HateCheck(MHC)は,多言語ヘイトスピーチ検出モデルのための機能テストスイートである。 MHCは、他のヘイトスピーチデータセットよりも多くの言語である10言語にわたる34の機能をカバーしている。 我々は,ハイパフォーマンスな多言語ヘイトスピーチ検出モデルの訓練とテストを行い,モノリンガルおよびクロスランガルアプリケーションにおいて重要なモデルの弱点を明らかにする。
  論文  参考訳（メタデータ） (2022-06-20T17:54:39Z)
• HateCheckHIn: Evaluating Hindi Hate Speech Detection Models [6.52974752091861]
  マルチリンガルヘイトは 自動検出の大きな課題です 評価のための機能セットを紹介する。 Hindiをベース言語として考えると、各機能のテストケースを作成します。
  論文  参考訳（メタデータ） (2022-04-30T19:09:09Z)
• Deep Learning for Hate Speech Detection: A Comparative Study [54.42226495344908]
  ここでは, ディープ・ヘイト・音声検出法と浅いヘイト・音声検出法を大規模に比較した。 私たちの目標は、この地域の進歩を照らし、現在の最先端の強みと弱点を特定することです。 そこで我々は,ヘイトスピーチ検出の実践的利用に関するガイダンスの提供,最先端の定量化,今後の研究方向の特定を目的としている。
  論文  参考訳（メタデータ） (2022-02-19T03:48:20Z)
• Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
  本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。 言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。 本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
  論文  参考訳（メタデータ） (2022-01-15T20:48:14Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。