論文の概要: HateCheckHIn: Evaluating Hindi Hate Speech Detection Models

• arxiv url: http://arxiv.org/abs/2205.00328v1
• Date: Sat, 30 Apr 2022 19:09:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-03 14:28:43.092917
• Title: HateCheckHIn: Evaluating Hindi Hate Speech Detection Models
• Title（参考訳）: HateCheckHIn:Hindi Hate音声検出モデルの評価
• Authors: Mithun Das and Punyajoy Saha and Binny Mathew and Animesh Mukherjee
• Abstract要約: マルチリンガルヘイトは 自動検出の大きな課題です 評価のための機能セットを紹介する。 Hindiをベース言語として考えると、各機能のテストケースを作成します。
• 参考スコア（独自算出の注目度）: 6.52974752091861
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the sheer volume of online hate, the AI and NLP communities have started building models to detect such hateful content. Recently, multilingual hate is a major emerging challenge for automated detection where code-mixing or more than one language have been used for conversation in social media. Typically, hate speech detection models are evaluated by measuring their performance on the held-out test data using metrics such as accuracy and F1-score. While these metrics are useful, it becomes difficult to identify using them where the model is failing, and how to resolve it. To enable more targeted diagnostic insights of such multilingual hate speech models, we introduce a set of functionalities for the purpose of evaluation. We have been inspired to design this kind of functionalities based on real-world conversation on social media. Considering Hindi as a base language, we craft test cases for each functionality. We name our evaluation dataset HateCheckHIn. To illustrate the utility of these functionalities , we test state-of-the-art transformer based m-BERT model and the Perspective API.
• Abstract（参考訳）: ネット上の憎しみの量が多いため、AIとNLPコミュニティは、このような憎しみのあるコンテンツを検出するモデルを構築し始めている。 近年、多言語ヘイトは、複数の言語がソーシャルメディアで会話に使われている自動検出において、大きな課題となっている。 通常、ヘイトスピーチ検出モデルは、精度やF1スコアなどの指標を用いて、ホールドアウトテストデータ上での性能を測定することで評価される。 これらのメトリクスは役に立つが、モデルが失敗した場所やそれを解決する方法を特定するのは難しい。 このような多言語ヘイトスピーチモデルのよりターゲット的な診断的洞察を可能にするために,評価のための機能セットを導入する。 私たちは、ソーシャルメディア上の現実世界の会話に基づいて、このような機能をデザインすることにインスピレーションを受けています。 Hindiをベース言語として考えると、各機能のテストケースを作成します。 評価データセットのhatcheckhinを名付けます。 これらの機能の有用性を説明するため,m-BERTモデルとパースペクティブAPIを検証した。

関連論文リスト

• GPT-HateCheck: Can LLMs Write Better Functional Tests for Hate Speech Detection? [50.53312866647302]
  HateCheckは、合成データに対してきめ細かいモデル機能をテストするスイートである。 GPT-HateCheckは,スクラッチからより多彩で現実的な機能テストを生成するフレームワークである。 クラウドソースのアノテーションは、生成されたテストケースが高品質であることを示しています。
  論文  参考訳（メタデータ） (2024-02-23T10:02:01Z)
• Evaluating ChatGPT's Performance for Multilingual and Emoji-based Hate Speech Detection [4.809236881780707]
  ChatGPTのような大規模言語モデルは、ヘイトスピーチ検出など、いくつかのタスクを実行する上で大きな可能性を最近示した。 本研究では,ChatGPTモデルの長所と短所を,11言語にわたるヘッジ音声の粒度レベルで評価することを目的とした。
  論文  参考訳（メタデータ） (2023-05-22T17:36:58Z)
• Multilingual HateCheck: Functional Tests for Multilingual Hate Speech Detection Models [14.128029444990895]
  HateCheck(MHC)は,多言語ヘイトスピーチ検出モデルのための機能テストスイートである。 MHCは、他のヘイトスピーチデータセットよりも多くの言語である10言語にわたる34の機能をカバーしている。 我々は,ハイパフォーマンスな多言語ヘイトスピーチ検出モデルの訓練とテストを行い,モノリンガルおよびクロスランガルアプリケーションにおいて重要なモデルの弱点を明らかにする。
  論文  参考訳（メタデータ） (2022-06-20T17:54:39Z)
• A New Generation of Perspective API: Efficient Multilingual Character-level Transformers [66.9176610388952]
  Google JigsawのAspective APIの次期バージョンの基礎を提示する。 このアプローチの中心は、単一の多言語トークンフリーなCharformerモデルである。 静的な語彙を強制することで、さまざまな設定で柔軟性が得られます。
  論文  参考訳（メタデータ） (2022-02-22T20:55:31Z)
• Deep Learning for Hate Speech Detection: A Comparative Study [54.42226495344908]
  ここでは, ディープ・ヘイト・音声検出法と浅いヘイト・音声検出法を大規模に比較した。 私たちの目標は、この地域の進歩を照らし、現在の最先端の強みと弱点を特定することです。 そこで我々は,ヘイトスピーチ検出の実践的利用に関するガイダンスの提供,最先端の定量化,今後の研究方向の特定を目的としている。
  論文  参考訳（メタデータ） (2022-02-19T03:48:20Z)
• Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
  本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。 言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。 本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
  論文  参考訳（メタデータ） (2022-01-15T20:48:14Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Cross-lingual hate speech detection based on multilingual domain-specific word embeddings [4.769747792846004]
  トランスファーラーニングの視点から多言語のヘイトスピーチ検出の課題に取り組むことを提案する。 私たちの目標は、ある特定の言語の知識が他の言語の分類に使用できるかどうかを判断することです。 単純かつ特定された多言語ヘイト表現を用いることで分類結果が向上することを示す。
  論文  参考訳（メタデータ） (2021-04-30T02:24:50Z)
• HateCheck: Functional Tests for Hate Speech Detection Models [3.4938484663205776]
  HateCheckはヘイトスピーチ検出モデルのための最初の機能テストスイートである。 我々は、過去の研究を見直して動機づける29のモデル機能を指定する。 我々は,最先端の変圧器検出モデルと商用モデルの試験を行い,致命的なモデルの弱点を明らかにする。
  論文  参考訳（メタデータ） (2020-12-31T13:44:56Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。