論文の概要: Multilingual Hate Speech and Offensive Content Detection using Modified Cross-entropy Loss

• arxiv url: http://arxiv.org/abs/2202.02635v1
• Date: Sat, 5 Feb 2022 20:31:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-10 11:53:12.061877
• Title: Multilingual Hate Speech and Offensive Content Detection using Modified Cross-entropy Loss
• Title（参考訳）: 変形型クロスエントロピー損失を用いた多言語ヘイトスピーチと攻撃的コンテンツ検出
• Authors: Arka Mitra, Priyanshu Sankhala
• Abstract要約: 大規模な言語モデルは大量のデータに基づいてトレーニングされており、コンテキスト埋め込みも利用しています。 データのバランスもよくないので、修正されたクロスエントロピー損失を使ってこの問題に対処しました。 我々のチーム(HNLP)は、それぞれ英語サブタスクAと英語サブタスクBで0.808、0.639のマクロF1スコアを達成した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The number of increased social media users has led to a lot of people misusing these platforms to spread offensive content and use hate speech. Manual tracking the vast amount of posts is impractical so it is necessary to devise automated methods to identify them quickly. Large language models are trained on a lot of data and they also make use of contextual embeddings. We fine-tune the large language models to help in our task. The data is also quite unbalanced; so we used a modified cross-entropy loss to tackle the issue. We observed that using a model which is fine-tuned in hindi corpora performs better. Our team (HNLP) achieved the macro F1-scores of 0.808, 0.639 in English Subtask A and English Subtask B respectively. For Hindi Subtask A, Hindi Subtask B our team achieved macro F1-scores of 0.737, 0.443 respectively in HASOC 2021.
• Abstract（参考訳）: ソーシャルメディア利用者の増加は、このプラットフォームを悪用して悪質なコンテンツを広め、ヘイトスピーチを使う人が多くなっている。 大量のポストを手動で追跡するのは現実的ではないため、それらを素早く識別する自動化手法を考案する必要がある。 大規模な言語モデルは、多くのデータに基づいてトレーニングされ、コンテキスト埋め込みも利用できる。 タスクを支援するために、大きな言語モデルを微調整します。 データのバランスも悪く、修正されたクロスエントロピー損失を使ってこの問題に対処しました。 ヒンディー語コーパスで微調整されたモデルを用いることで,より優れた性能が得られた。 我々のチーム(HNLP)は、それぞれ英語サブタスクAと英語サブタスクBで0.808、0.639のマクロF1スコアを達成した。 Hindi Subtask A, Hindi Subtask Bでは, HASOC 2021でそれぞれ0.737, 0.443のマクロF1スコアを達成した。

関連論文リスト

• HateGPT: Unleashing GPT-3.5 Turbo to Combat Hate Speech on X [0.0]
  マクロF1スコアを用いた分類モデルの性能評価を行った。 その結果,ラン1が最高性能を示し,精度とリコールの点でモデルが一貫して良好に動作していることが示唆された。
  論文  参考訳（メタデータ） (2024-11-14T06:20:21Z)
• Adversarial Training For Low-Resource Disfluency Correction [50.51901599433536]
  ディフルエンシ補正(DC)のための逆学習型シーケンスタグ付けモデルを提案する。 提案手法の利点は,3つのインド語でDCに対して評価することで,合成された非流動データに大きく依存することを示す。 また,本手法は,音声障害によって導入されたASR文字の破面的不一致の除去にも有効である。
  論文  参考訳（メタデータ） (2023-06-10T08:58:53Z)
• Crosslingual Generalization through Multitask Finetuning [80.8822603322471]
  マルチタスク誘導ファインタニング(MTF)は、大きな言語モデルがゼロショット設定で新しいタスクに一般化するのに役立つことが示されている。 MTFを事前訓練された多言語BLOOMおよびmT5モデルファミリーに適用し、BLOOMZおよびmT0と呼ばれる微調整された変種を生成する。 英語のプロンプトを用いた英語タスクにおける多言語多言語モデルの微調整により、非英語言語へのタスク一般化が可能となる。
  論文  参考訳（メタデータ） (2022-11-03T13:19:32Z)
• Overview of Abusive and Threatening Language Detection in Urdu at FIRE 2021 [50.591267188664666]
  我々は、ウルドゥー語に対する虐待と脅しの2つの共通タスクを提示する。 本研究では, (i) 乱用と非乱用というラベル付きツイートを含む手動注釈付きデータセットと, (ii) 脅威と非脅威の2つを提示する。 両方のサブタスクに対して、m-Bertベースのトランスモデルは最高の性能を示した。
  論文  参考訳（メタデータ） (2022-07-14T07:38:13Z)
• Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
  本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。 言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。 本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
  論文  参考訳（メタデータ） (2022-01-15T20:48:14Z)
• Overview of the HASOC Subtrack at FIRE 2021: Hate Speech and Offensive Content Identification in English and Indo-Aryan Languages [4.267837363677351]
  本稿では,英語,ヒンディー語,マラタイ語のHASOCサブトラックについて述べる。 データセットはTwitterから集められた。 タスクAの最良の分類アルゴリズムのパフォーマンスは、マラタイ、ヒンディー語、英語でそれぞれ0.91、0.78、0.83である。
  論文  参考訳（メタデータ） (2021-12-17T03:28:54Z)
• Fine-tuning of Pre-trained Transformers for Hate, Offensive, and Profane Content Detection in English and Marathi [0.0]
  本稿では,英語とインド・アーリア語におけるHate Speech and Offensive Content Identificationのために開発されたニューラルモデルについて述べる。 英語のサブタスクに対して,ヘイトスピーチ検出のための追加コーパスが微調整変圧器モデルに与える影響について検討する。 Marathiタスクに対しては,Language-Agnostic BERT Sentence Embedding (LaBSE)に基づくシステムを提案する。
  論文  参考訳（メタデータ） (2021-10-25T07:11:02Z)
• One to rule them all: Towards Joint Indic Language Hate Speech Detection [7.296361860015606]
  本稿では、最先端のトランスフォーマー言語モデルを用いて、ヘイトや攻撃的な音声検出を共同で学習する多言語アーキテクチャを提案する。 提案したテストコーパスでは,サブタスク1AのマクロF1スコアが0.7996,0.7748,0.8651,サブタスク1Bのきめ細かい分類において0.6268,0.5603となる。
  論文  参考訳（メタデータ） (2021-09-28T13:30:00Z)
• Overview of the HASOC track at FIRE 2020: Hate Speech and Offensive Content Identification in Indo-European Languages [2.927129789938848]
  HASOCトラックはヒンディー語、ドイツ語、英語向けのHate Speech Detectionアルゴリズムの開発と最適化を目的としている。 データセットはTwitterアーカイブから収集され、機械学習システムによって事前に分類される。 全体では40チーム252本が提出された。タスクAの最良の分類アルゴリズムは、それぞれ英語、ヒンディー語、ドイツ語で0.51本、0.53本、ドイツ語で0.52本である。
  論文  参考訳（メタデータ） (2021-08-12T19:02:53Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for Offensive Language Detection [55.445023584632175]
  我々は,マルチタスク学習とBERTモデルを組み合わせた攻撃的言語検出システムを構築した。 我々のモデルは、英語のサブタスクAで91.51%のF1スコアを獲得し、これは第1位に匹敵する。
  論文  参考訳（メタデータ） (2020-04-28T11:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。