論文の概要: IndoToxic2024: A Demographically-Enriched Dataset of Hate Speech and Toxicity Types for Indonesian Language
- arxiv url: http://arxiv.org/abs/2406.19349v1
- Date: Thu, 27 Jun 2024 17:26:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-28 13:18:46.379550
- Title: IndoToxic2024: A Demographically-Enriched Dataset of Hate Speech and Toxicity Types for Indonesian Language
- Title（参考訳）: IndoToxic2024: インドネシア語におけるヘイトスピーチと毒性型のデモグラフィックに富んだデータセット
- Authors: Lucky Susanto, Musa Izzanardi Wijanarko, Prasetia Anugrah Pratama, Traci Hong, Ika Idris, Alham Fikri Aji, Derry Wijaya,
- Abstract要約: IndoToxic2024はインドネシアのヘイトスピーチおよび毒性分類データセットである。
19の個人によって注釈付けされた43,692のエントリを補完するデータセットは、脆弱なグループをターゲットにしたテキストに焦点を当てている。
我々は、7つの二項分類タスクのベースラインを確立し、憎悪音声分類のために細調整されたBERTモデルを用いてマクロF1スコア0.78を達成する。
- 参考スコア（独自算出の注目度）: 11.463652750122398
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Hate speech poses a significant threat to social harmony. Over the past two years, Indonesia has seen a ten-fold increase in the online hate speech ratio, underscoring the urgent need for effective detection mechanisms. However, progress is hindered by the limited availability of labeled data for Indonesian texts. The condition is even worse for marginalized minorities, such as Shia, LGBTQ, and other ethnic minorities because hate speech is underreported and less understood by detection tools. Furthermore, the lack of accommodation for subjectivity in current datasets compounds this issue. To address this, we introduce IndoToxic2024, a comprehensive Indonesian hate speech and toxicity classification dataset. Comprising 43,692 entries annotated by 19 diverse individuals, the dataset focuses on texts targeting vulnerable groups in Indonesia, specifically during the hottest political event in the country: the presidential election. We establish baselines for seven binary classification tasks, achieving a macro-F1 score of 0.78 with a BERT model (IndoBERTweet) fine-tuned for hate speech classification. Furthermore, we demonstrate how incorporating demographic information can enhance the zero-shot performance of the large language model, gpt-3.5-turbo. However, we also caution that an overemphasis on demographic information can negatively impact the fine-tuned model performance due to data fragmentation.
- Abstract（参考訳）: ヘイトスピーチは社会的調和に重大な脅威をもたらす。
過去2年間でインドネシアでは、オンラインヘイトスピーチの割合が10倍に増えた。
しかし、インドネシアのテキストのラベル付きデータが限られているため、進歩は妨げられている。
この状況は、シーア、LGBTQ、その他の少数民族などの少数民族にとって、ヘイトスピーチの報告が不十分で、検出ツールによって理解されていないため、さらに悪化している。
さらに、現在のデータセットにおける主観性に対する調節の欠如は、この問題を複雑にしている。
これを解決するために、インドネシアの包括的なヘイトスピーチと毒性分類データセットであるIndoToxic2024を紹介する。
19の個人によって注釈付けされた43,692項目のデータセットは、インドネシアの脆弱なグループをターゲットにしたテキストに焦点を当てている。
我々は7つのバイナリ分類タスクのベースラインを確立し、ヘイトスピーチ分類のためのBERTモデル(IndoBERTweet)を用いてマクロF1スコア0.78を達成する。
さらに,大きな言語モデルであるgpt-3.5-turboのゼロショット性能が,人口統計情報を組み込むことによって向上することを示す。
しかし、人口統計情報に対する過度な強調は、データの断片化による微調整モデルの性能に悪影響を及ぼす可能性があると警告する。
関連論文リスト
- Understanding writing style in social media with a supervised
contrastively pre-trained transformer [57.48690310135374]
オンラインソーシャルネットワークは、ヘイトスピーチから偽情報の拡散まで、有害な行動の場として機能している。
本稿では, 4.5 x 106テキストの公開資料から得られた大規模コーパスに基づいて学習したStyle Transformer for Authorship Representations (STAR)を紹介する。
512個のトークンからなる8つのドキュメントからなるサポートベースを使用して、著者を最大1616人の著者のセットから、少なくとも80%の精度で識別することができる。
論文 参考訳（メタデータ） (2023-10-17T09:01:17Z) - Harnessing Pre-Trained Sentence Transformers for Offensive Language
Detection in Indian Languages [0.6526824510982802]
この研究はヘイトスピーチ検出の領域に踏み込み、ベンガル語、アサメセ語、グジャラート語という3つの低リソースのインドの言語に特に重点を置いている。
この課題は、ツイートが攻撃的コンテンツを含むか、非攻撃的コンテンツを含むかを識別することを目的としたテキスト分類タスクである。
我々は,事前学習したBERTモデルとSBERTモデルを微調整し,ヘイトスピーチの同定の有効性を評価する。
論文 参考訳（メタデータ） (2023-10-03T17:53:09Z) - Uncovering Political Hate Speech During Indian Election Campaign: A New
Low-Resource Dataset and Baselines [3.3228144010758593]
IEHateデータセットには、2021年11月1日から2022年3月9日までのインド議会選挙に関連する11,457件のヒンディー語ツイートが含まれている。
機械学習、ディープラーニング、トランスフォーマーベースのアルゴリズムを用いてデータセットをベンチマークする。
特に、アルゴリズムよりも人間評価のスコアが比較的高いことは、効果的なヘイトスピーチのモデレーションに人間と自動化の両方のアプローチを活用することの重要性を強調している。
論文 参考訳（メタデータ） (2023-06-26T15:17:54Z) - Overview of Abusive and Threatening Language Detection in Urdu at FIRE
2021 [50.591267188664666]
我々は、ウルドゥー語に対する虐待と脅しの2つの共通タスクを提示する。
本研究では, (i) 乱用と非乱用というラベル付きツイートを含む手動注釈付きデータセットと, (ii) 脅威と非脅威の2つを提示する。
両方のサブタスクに対して、m-Bertベースのトランスモデルは最高の性能を示した。
論文 参考訳（メタデータ） (2022-07-14T07:38:13Z) - Korean Online Hate Speech Dataset for Multilabel Classification: How Can
Social Science Improve Dataset on Hate Speech? [0.4893345190925178]
韓国のネットヘイトスピーチデータセットに7つのカテゴリーのヘイトスピーチを分類することを提案する。
私たちの35Kデータセットは、Krippendorff氏のAlphaレーベルによる24Kのオンラインコメントで構成されています。
従来の二分的ヘイトや非ヘイト二分法とは異なり、文化と言語の両方の文脈を考慮したデータセットを設計した。
論文 参考訳（メタデータ） (2022-04-07T07:29:06Z) - Listening to Affected Communities to Define Extreme Speech: Dataset and
Experiments [1.1417805445492082]
我々は、ブラジル、ドイツ、インド、ケニアから20,297のソーシャルメディアパスを含む新しいヘイトスピーチデータセットであるXTREMESPEECHを提示する。
重要なノベルティは、データ収集と注釈付けにおいて、影響を受けるコミュニティを直接巻き込むことです。
この包括的アプローチにより、実際に発生するオンライン音声のデータセットがより代表的になる。
論文 参考訳（メタデータ） (2022-03-22T14:24:56Z) - COLD: A Benchmark for Chinese Offensive Language Detection [54.60909500459201]
COLDatasetは、37kの注釈付き文を持つ中国の攻撃的言語データセットである。
また、人気のある中国語モデルの出力攻撃性を研究するために、textscCOLDetectorを提案する。
我々の資源と分析は、中国のオンラインコミュニティを解毒し、生成言語モデルの安全性を評価することを目的としている。
論文 参考訳（メタデータ） (2022-01-16T11:47:23Z) - Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。
言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。
本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
論文 参考訳（メタデータ） (2022-01-15T20:48:14Z) - Reducing Target Group Bias in Hate Speech Detectors [56.94616390740415]
大規模な公開データセットでトレーニングされたテキスト分類モデルは、いくつかの保護されたグループで大幅に性能が低下する可能性がある。
本稿では,トークンレベルのヘイトセンスの曖昧さを実現し,トークンのヘイトセンスの表現を検知に利用することを提案する。
論文 参考訳（メタデータ） (2021-12-07T17:49:34Z) - "Stop Asian Hate!" : Refining Detection of Anti-Asian Hate Speech During
the COVID-19 Pandemic [2.5227595609842206]
新型コロナウイルス(COVID-19)のパンデミックは、アジアでのキセノフォビアと偏見の急増を加速させた。
我々は2つの実験的なアプローチを用いてTwitterのツイートのコーパスを作成して注釈付けし、反アジア人虐待とヘイトスピーチを探索する。
論文 参考訳（メタデータ） (2021-12-04T06:55:19Z) - Racism is a Virus: Anti-Asian Hate and Counterspeech in Social Media
during the COVID-19 Crisis [51.39895377836919]
新型コロナウイルスは、アジアのコミュニティをターゲットにしたソーシャルメディア上で人種差別や憎悪を引き起こしている。
我々は、Twitterのレンズを通して、反アジアヘイトスピーチの進化と普及について研究する。
私たちは、14ヶ月にわたる反アジア的憎悪と反音声のデータセットとして最大となるCOVID-HATEを作成します。
論文 参考訳（メタデータ） (2020-05-25T21:58:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。