論文の概要: L3Cube-MahaHate: A Tweet-based Marathi Hate Speech Detection Dataset and BERT models

• arxiv url: http://arxiv.org/abs/2203.13778v1
• Date: Fri, 25 Mar 2022 17:00:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-28 12:19:22.885077
• Title: L3Cube-MahaHate: A Tweet-based Marathi Hate Speech Detection Dataset and BERT models
• Title（参考訳）: L3Cube-MahaHate: ツイートベースのMarathi Hate音声検出データセットとBERTモデル
• Authors: Abhishek Velankar, Hrushikesh Patil, Amol Gore, Shubham Salunke, Raviraj Joshi
• Abstract要約: インドでは、マラーティ語は広く使われている言語の一つである。 本稿では,マラウイで最初のHate SpeechデータセットであるL3Cube-MahaHateを紹介する。
• 参考スコア（独自算出の注目度）: 0.7874708385247353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Social media platforms are used by a large number of people prominently to express their thoughts and opinions. However, these platforms have contributed to a substantial amount of hateful and abusive content as well. Therefore, it is important to curb the spread of hate speech on these platforms. In India, Marathi is one of the most popular languages used by a wide audience. In this work, we present L3Cube-MahaHate, the first major Hate Speech Dataset in Marathi. The dataset is curated from Twitter, annotated manually. Our dataset consists of over 25000 distinct tweets labeled into four major classes i.e hate, offensive, profane, and not. We present the approaches used for collecting and annotating the data and the challenges faced during the process. Finally, we present baseline classification results using deep learning models based on CNN, LSTM, and Transformers. We explore mono-lingual and multi-lingual variants of BERT like MahaBERT, IndicBERT, mBERT, and xlm-RoBERTa and show that mono-lingual models perform better than their multi-lingual counterparts. The MahaBERT model provides the best results on L3Cube-MahaHate Corpus. The data and models are available at https://github.com/l3cube-pune/MarathiNLP .
• Abstract（参考訳）: ソーシャルメディアプラットフォームは、多くの人々が自分の考えや意見を表現するためによく使われている。 しかし、これらのプラットフォームは相当量の憎悪や虐待的なコンテンツにも貢献している。 したがって,これらのプラットフォーム上でのヘイトスピーチの拡散を抑制することが重要である。 インドでは、マラーティ語は広く使われている言語の一つである。 本稿では,マラタイにおける最初のHate Speech DatasetであるL3Cube-MahaHateを紹介する。 データセットはtwitterから収集され、手動で注釈付けされる。 私たちのデータセットは、25,000以上の異なるツイートからなり、憎しみ、攻撃的、挑発的、そしてそうでない4つの主要なクラスにラベル付けされています。 本稿では,データの収集とアノテートに使用されるアプローチと,プロセス中に直面する課題について述べる。 最後に,CNN,LSTM,Transformerに基づくディープラーニングモデルを用いて,ベースライン分類結果を示す。 我々は,MahaBERT,IndicBERT,mBERT,xlm-RoBERTaといったBERTの単言語モデルおよび多言語モデルについて検討し,単言語モデルが多言語モデルよりも優れていることを示す。 MahaBERTモデルはL3Cube-MahaHate Corpusで最高の結果を提供する。 データとモデルはhttps://github.com/l3cube-pune/marathinlpで入手できる。

関連論文リスト

• CoSTA: Code-Switched Speech Translation using Aligned Speech-Text Interleaving [61.73180469072787]
  インド語から英語のテキストへのコード変更音声の音声翻訳(ST)の問題に焦点をあてる。 本稿では、事前訓練された自動音声認識(ASR)と機械翻訳(MT)モジュールを足場として、新しいエンドツーエンドモデルアーキテクチャCOSTAを提案する。 COSTAは、多くの競合するカスケードおよびエンドツーエンドのマルチモーダルベースラインを3.5BLEUポイントまで上回っている。
  論文  参考訳（メタデータ） (2024-06-16T16:10:51Z)
• Neural Machine Translation for the Indigenous Languages of the Americas: An Introduction [102.13536517783837]
  アメリカ大陸のほとんどの言語は、もしあるならば、並列データと単言語データしか持たない。 これらの言語におけるNLPコミュニティの関心が高まった結果、最近の進歩、発見、オープンな質問について論じる。
  論文  参考訳（メタデータ） (2023-06-11T23:27:47Z)
• Mono vs Multilingual BERT for Hate Speech Detection and Text Classification: A Case Study in Marathi [0.966840768820136]
  マラーティー語に焦点をあて、ヘイトスピーチの検出、感情分析、マラティー語における単純なテキスト分類のためのデータセットのモデルを評価する。 我々は,mBERT,indicBERT,xlm-RoBERTaなどの標準多言語モデルを用い,MahaBERT,MahaALBERT,MahaRoBERTaと比較した。 単言語MahaBERTをベースとしたモデルでは,多言語からの文の埋め込みに比べて表現が豊富であることを示す。
  論文  参考訳（メタデータ） (2022-04-19T05:07:58Z)
• BERTuit: Understanding Spanish language in Twitter through a native transformer [70.77033762320572]
  bfBERTuitは、これまでスペイン語のために提案された大きなトランスフォーマーで、2億3000万のスペイン語ツイートの膨大なデータセットで事前トレーニングされている。 私たちのモチベーションは、スペイン語のTwitterをよりよく理解し、このソーシャルネットワークにフォーカスしたアプリケーションに利用するための強力なリソースを提供することです。
  論文  参考訳（メタデータ） (2022-04-07T14:28:51Z)
• Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
  本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。 言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。 本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
  論文  参考訳（メタデータ） (2022-01-15T20:48:14Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Hate and Offensive Speech Detection in Hindi and Marathi [0.0]
  それでもヘイトと攻撃的な音声検出は、データの入手が不十分なため、課題に直面している。 本研究では,ヒンディー語文とマラタイ語文のヘイトと攻撃的な音声検出について考察する。 CNNやLSTM,多言語BERT,IndicBERT,モノリンガルRoBERTaといったBERTのバリエーションなど,さまざまなディープラーニングアーキテクチャについて検討する。 我々は,変換器をベースとしたモデルが,FastText埋め込みとともに基本モデルでも最高の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-10-23T11:57:36Z)
• Ceasing hate withMoH: Hate Speech Detection in Hindi-English Code-Switched Language [2.9926023796813728]
  本研究はヒンディー語・英語のコードスイッチング言語におけるヘイトスピーチの分析に焦点をあてる。 データ構造を含むため、Hindi の "Love" を意味する MoH または Map Only Hindi を開発した。 MoHパイプラインは言語識別で構成され、ローマ語からデヴァナガリ・ヒンディー語への翻訳は、ローマ語のヒンディー語の知識ベースを用いて行われる。
  論文  参考訳（メタデータ） (2021-10-18T15:24:32Z)
• L3CubeMahaSent: A Marathi Tweet-based Sentiment Analysis Dataset [0.0]
  本稿では,Marathi Sentiment Analysis データセットである L3MahaSent について述べる。 様々なマハラシュトリア人格のtwitterアカウントから抽出されたツイートを用いて収集される。 私たちのデータセットは3つの広いクラスvizに分類される16,000の異なるツイートで構成されています。 正、負、中立。
  論文  参考訳（メタデータ） (2021-03-21T14:22:13Z)
• Evaluation of Deep Learning Models for Hostility Detection in Hindi Text [2.572404739180802]
  ヒンディー語における敵対的テキスト検出手法を提案する。 提案手法は、Constraint@AAAI 2021 Hindiホスト性検出データセットで評価される。 この多ラベル分類問題に対して,CNN,LSTM,BERTに基づく深層学習手法のホストを評価した。
  論文  参考訳（メタデータ） (2021-01-11T19:10:57Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。