論文の概要: Spread Love Not Hate: Undermining the Importance of Hateful Pre-training
for Hate Speech Detection
- arxiv url: http://arxiv.org/abs/2210.04267v1
- Date: Sun, 9 Oct 2022 13:53:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 14:29:50.880038
- Title: Spread Love Not Hate: Undermining the Importance of Hateful Pre-training
for Hate Speech Detection
- Title（参考訳）: spread love not hate: ヘイトスピーチ検出のためのヘイトフル事前学習の重要性を損なう
- Authors: Shantanu Patankar, Omkar Gokhale, Aditya Kane, Tanmay Chavan, Raviraj
Joshi
- Abstract要約: ヘイトフルプレトレーニングが低リソースヘイトスピーチ分類タスクに及ぼす影響について検討した。
我々は、40Mのツイートデータセットのヘイトフル、非ヘイトフル、混合サブセットに基づいて事前訓練された、ツイートベースのBERTモデルのさまざまなバリエーションを評価する。
対象領域から非有害テキストを事前学習することで、類似あるいはより良い結果が得られることを示す。
- 参考スコア（独自算出の注目度）: 0.7874708385247353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-training large neural language models, such as BERT, has led to
impressive gains on many natural language processing (NLP) tasks. Although this
method has proven to be effective for many domains, it might not always provide
desirable benefits. In this paper we study the effects of hateful pre-training
on low resource hate speech classification tasks. While previous studies on
English language have emphasized its importance, we aim to to augment their
observations with some non-obvious insights. We evaluate different variations
of tweet based BERT models pre-trained on hateful, non-hateful and mixed
subsets of 40M tweet dataset. This evaluation is carried for Indian languages
Hindi and Marathi. This paper is an empirical evidence that hateful
pre-training is not the best pre-training option for hate speech detection. We
show that pre-training on non-hateful text from target domain provides similar
or better results. Further, we introduce HindTweetBERT and MahaTweetBERT, the
first publicly available BERT models pre-trained on Hindi and Marathi tweets
respectively. We show that they provide state-of-the-art performance on hate
speech classification tasks. We also release a gold hate speech evaluation
benchmark HateEval-Hi and HateEval-Mr consisting of manually labeled 2000
tweets each.
- Abstract（参考訳）: BERTのような事前トレーニング済みの大規模ニューラルネットワークモデルは、多くの自然言語処理(NLP)タスクに驚くべき向上をもたらした。
この方法は多くの領域で有効であることが証明されているが、必ずしも望ましい利点を提供するとは限らない。
本稿では,ヘイトフル事前学習が低資源ヘイトスピーチ分類タスクに及ぼす影響について検討する。
これまでの英語研究は、その重要性を強調してきたが、我々の目指すところは、その観察を、不可避な洞察で強化することである。
我々は、40Mツイートデータセットのヘイトフル、非ヘイトフル、混合サブセットに基づいて事前訓練された、ツイートベースのBERTモデルのさまざまなバリエーションを評価する。
この評価はヒンディー語とマラティ語で行われている。
本論文はヘイトフルプレトレーニングがヘイトスピーチ検出に最適な事前トレーニングオプションではないという実証的証拠である。
対象領域から非有害テキストを事前学習することで、類似あるいはより良い結果が得られることを示す。
さらに,Hindi と Marathi のツイートで事前トレーニングされた最初の BERT モデルである HindTweetBERT と MahaTweetBERT を紹介する。
ヘイトスピーチ分類タスクにおいて最先端のパフォーマンスを提供することを示す。
また,ゴールドヘイトスピーチ評価ベンチマークのHateEval-HiとHateEval-Mrもリリースした。
関連論文リスト
- HCDIR: End-to-end Hate Context Detection, and Intensity Reduction model
for online comments [2.162419921663162]
ソーシャルメディア投稿において,Hate Context Detection と Hate Intensity Reduction のための新しいエンドツーエンドモデル HCDIR を提案する。
我々は、ヘイトフルコメントを検出するために、いくつかの事前訓練された言語モデルを微調整し、最も優れたヘイトフルコメント検出モデルを確認した。
論文 参考訳（メタデータ） (2023-12-20T17:05:46Z) - Harnessing Pre-Trained Sentence Transformers for Offensive Language
Detection in Indian Languages [0.6526824510982802]
この研究はヘイトスピーチ検出の領域に踏み込み、ベンガル語、アサメセ語、グジャラート語という3つの低リソースのインドの言語に特に重点を置いている。
この課題は、ツイートが攻撃的コンテンツを含むか、非攻撃的コンテンツを含むかを識別することを目的としたテキスト分類タスクである。
我々は,事前学習したBERTモデルとSBERTモデルを微調整し,ヘイトスピーチの同定の有効性を評価する。
論文 参考訳（メタデータ） (2023-10-03T17:53:09Z) - Adversarial Training For Low-Resource Disfluency Correction [50.51901599433536]
ディフルエンシ補正(DC)のための逆学習型シーケンスタグ付けモデルを提案する。
提案手法の利点は,3つのインド語でDCに対して評価することで,合成された非流動データに大きく依存することを示す。
また,本手法は,音声障害によって導入されたASR文字の破面的不一致の除去にも有効である。
論文 参考訳（メタデータ） (2023-06-10T08:58:53Z) - Overview of Abusive and Threatening Language Detection in Urdu at FIRE
2021 [50.591267188664666]
我々は、ウルドゥー語に対する虐待と脅しの2つの共通タスクを提示する。
本研究では, (i) 乱用と非乱用というラベル付きツイートを含む手動注釈付きデータセットと, (ii) 脅威と非脅威の2つを提示する。
両方のサブタスクに対して、m-Bertベースのトランスモデルは最高の性能を示した。
論文 参考訳（メタデータ） (2022-07-14T07:38:13Z) - Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。
言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。
本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
論文 参考訳（メタデータ） (2022-01-15T20:48:14Z) - HS-BAN: A Benchmark Dataset of Social Media Comments for Hate Speech
Detection in Bangla [2.055204980188575]
本稿では,5万以上のラベル付きコメントからなる2進級ヘイトスピーチデータセットであるHS-BANを提案する。
本稿では,ヘイトスピーチ検出のためのベンチマークシステムを開発するために,従来の言語機能とニューラルネットワークに基づく手法について検討する。
我々のベンチマークでは、FastTextの非公式な単語埋め込みの上にBi-LSTMモデルがあり、86.78%のF1スコアを達成した。
論文 参考訳（メタデータ） (2021-12-03T13:35:18Z) - Ceasing hate withMoH: Hate Speech Detection in Hindi-English
Code-Switched Language [2.9926023796813728]
本研究はヒンディー語・英語のコードスイッチング言語におけるヘイトスピーチの分析に焦点をあてる。
データ構造を含むため、Hindi の "Love" を意味する MoH または Map Only Hindi を開発した。
MoHパイプラインは言語識別で構成され、ローマ語からデヴァナガリ・ヒンディー語への翻訳は、ローマ語のヒンディー語の知識ベースを用いて行われる。
論文 参考訳（メタデータ） (2021-10-18T15:24:32Z) - Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
否定は自然言語の中核構造である。
本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。
否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
論文 参考訳（メタデータ） (2021-05-07T21:58:35Z) - HASOCOne@FIRE-HASOC2020: Using BERT and Multilingual BERT models for
Hate Speech Detection [9.23545668304066]
ヘイトスピーチと攻撃的コンテンツを自動的に分類する手法を提案する。
FIRE 2019と2020の共有タスクから得られたデータセットを使用しました。
事前学習したBERTモデルと多言語BERTモデルが最良の結果となった。
論文 参考訳（メタデータ） (2021-01-22T08:55:32Z) - Emergent Communication Pretraining for Few-Shot Machine Translation [66.48990742411033]
我々は、参照ゲームからの創発的コミュニケーションを介してニューラルネットワークを事前訓練する。
私たちの重要な前提は、実世界の環境の粗悪な近似として、画像に基づくコミュニケーションを基盤にすることで、帰納的に自然言語学習のモデルに偏りが生じる、ということです。
論文 参考訳（メタデータ） (2020-11-02T10:57:53Z) - Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for
Offensive Language Detection [55.445023584632175]
我々は,マルチタスク学習とBERTモデルを組み合わせた攻撃的言語検出システムを構築した。
我々のモデルは、英語のサブタスクAで91.51%のF1スコアを獲得し、これは第1位に匹敵する。
論文 参考訳（メタデータ） (2020-04-28T11:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。