論文の概要: APEACH: Attacking Pejorative Expressions with Analysis on
Crowd-Generated Hate Speech Evaluation Datasets
- arxiv url: http://arxiv.org/abs/2202.12459v1
- Date: Fri, 25 Feb 2022 02:04:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-28 23:43:37.566581
- Title: APEACH: Attacking Pejorative Expressions with Analysis on
Crowd-Generated Hate Speech Evaluation Datasets
- Title（参考訳）: APEACH: 群衆生成ヘイトスピーチ評価データセットの分析による音声表現の攻撃
- Authors: Kichang Yang, Wonjun Jang, Won Ik Cho
- Abstract要約: APEACHは、特定されていないユーザによって生成されるヘイトスピーチの収集を可能にする方法である。
ヘイトスピーチの群集生成を制御し,最小限のポストラベルのみを追加することにより,ヘイトスピーチ検出の一般化と公平な評価を可能にするコーパスを作成する。
- 参考スコア（独自算出の注目度）: 4.034948808542701
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Detecting toxic or pejorative expressions in online communities has become
one of the main concerns for preventing the users' mental harm. This led to the
development of large-scale hate speech detection datasets of various domains,
which are mainly built upon web-crawled texts with labels by crowd workers.
However, for languages other than English, researchers might have to rely on
only a small-sized corpus due to the lack of data-driven research of hate
speech detection. This sometimes misleads the evaluation of prevalently used
pretrained language models (PLMs) such as BERT, given that PLMs often share the
domain of pretraining corpus with the evaluation set, resulting in
over-representation of the detection performance. Also, the scope of pejorative
expressions might be restricted if the dataset is built on a single domain
text.
To alleviate the above problems in Korean hate speech detection, we propose
APEACH,a method that allows the collection of hate speech generated by
unspecified users. By controlling the crowd-generation of hate speech and
adding only a minimum post-labeling, we create a corpus that enables the
generalizable and fair evaluation of hate speech detection regarding text
domain and topic. We Compare our outcome with prior work on an annotation-based
toxic news comment dataset using publicly available PLMs. We check that our
dataset is less sensitive to the lexical overlap between the evaluation set and
pretraining corpus of PLMs, showing that it helps mitigate the unexpected
under/over-representation of model performance. We distribute our dataset
publicly online to further facilitate the general-domain hate speech detection
in Korean.
- Abstract（参考訳）: オンラインコミュニティにおける有害あるいは有害な表現の検出は、ユーザの精神的危害を防止するための主要な関心事の1つとなっている。
これにより、様々なドメインの大規模ヘイトスピーチ検出データセットが開発され、主に群衆労働者によるラベル付きウェブクローリングされたテキスト上に構築された。
しかし、英語以外の言語では、ヘイトスピーチ検出のデータ駆動型研究が欠如しているため、研究者は小規模コーパスのみに頼る必要がある。
これは、plmがしばしば事前学習コーパスの領域を評価セットと共有し、その結果、検出性能が過剰に表現されるため、bertのような事前学習済み言語モデル(plm)の評価を誤解することがある。
また、データセットが単一のドメインテキストで構築されている場合、ペジョラティブ式の範囲は制限される可能性がある。
韓国のヘイトスピーチ検出における上記の問題を緩和するために,未特定ユーザによるヘイトスピーチの収集を可能にするAPEACHを提案する。
ヘイトスピーチの群集生成を制御し,最小限のポストラベルのみを追加することにより,テキスト領域とトピックに関するヘイトスピーチ検出の一般化と公平な評価を可能にするコーパスを作成する。
我々は,公開plmを用いたアノテーションに基づく有毒ニュースコメントデータセットの先行研究と比較した。
我々のデータセットは、評価セットとPLMの事前学習コーパス間の語彙的重複に敏感でないことを確認し、モデル性能の予期せぬ過小評価を緩和するのに役立つことを示す。
我々は,韓国の一般ドメインヘイトスピーチ検出を容易にするために,データセットをオンラインで公開する。
関連論文リスト
- K-HATERS: A Hate Speech Detection Corpus in Korean with Target-Specific
Ratings [6.902524826065157]
K-HATERSは韓国のヘイトスピーチ検出のための新しいコーパスで、ターゲット固有の攻撃性評価を持つ約192Kのニュースコメントを含んでいる。
本研究は,ヘイトスピーチの検出と資源構築に関するNLP研究に寄与する。
論文 参考訳（メタデータ） (2023-10-24T01:20:05Z) - Hate Speech Detection in Limited Data Contexts using Synthetic Data
Generation [1.9506923346234724]
本稿では,限られたデータコンテキストにおいて,オンラインヘイトスピーチ検出のためのデータ不足の問題に対処するデータ拡張手法を提案する。
対象言語におけるヘイトスピーチデータの新しい例を合成する3つの方法を提案する。
以上の結果から, 合成データを用いたモデルでは, 対象領域で利用可能なサンプルに対してのみ学習したモデルが比較可能であり, 性能が良好である場合も見いだされた。
論文 参考訳（メタデータ） (2023-10-04T15:10:06Z) - On the Challenges of Building Datasets for Hate Speech Detection [0.0]
我々はまず,データ中心のレンズを用いてヘイトスピーチ検出を取り巻く問題を分析する。
次に、データ生成パイプラインを7つの広範囲にわたってカプセル化する、包括的なフレームワークの概要を示します。
論文 参考訳（メタデータ） (2023-09-06T11:15:47Z) - Deep Learning for Hate Speech Detection: A Comparative Study [54.42226495344908]
ここでは, ディープ・ヘイト・音声検出法と浅いヘイト・音声検出法を大規模に比較した。
私たちの目標は、この地域の進歩を照らし、現在の最先端の強みと弱点を特定することです。
そこで我々は,ヘイトスピーチ検出の実践的利用に関するガイダンスの提供,最先端の定量化,今後の研究方向の特定を目的としている。
論文 参考訳（メタデータ） (2022-02-19T03:48:20Z) - Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。
言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。
本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
論文 参考訳（メタデータ） (2022-01-15T20:48:14Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳（メタデータ） (2021-10-31T22:48:30Z) - An Information Retrieval Approach to Building Datasets for Hate Speech
Detection [3.587367153279349]
「一般的な慣行は、既知の憎しみの言葉を含むツイートを注釈するだけである。」
第二の課題は、ヘイトスピーチの定義が高度に変動し、主観的である傾向があることである。
我々の重要な洞察は、ヘイトスピーチの希少性と主観性が情報検索(IR)の関連性に類似していることである。
論文 参考訳（メタデータ） (2021-06-17T19:25:39Z) - A Token-level Reference-free Hallucination Detection Benchmark for
Free-form Text Generation [50.55448707570669]
本稿ではトークンレベルの参照なし幻覚検出タスクとHaDesというアノテーション付きデータセットを提案する。
このデータセットを作成するために、まず英語のウィキペディアから抽出された大量のテキストセグメントを摂り込み、それからクラウドソースアノテーションで検証する。
論文 参考訳（メタデータ） (2021-04-18T04:09:48Z) - Constructing interval variables via faceted Rasch measurement and
multitask deep learning: a hate speech application [63.10266319378212]
本稿では,教師付き深層学習と多面的ラッシュアイテム応答理論(IRT)構築手法を組み合わせることで,連続区間スペクトル上の複素変数を測定する手法を提案する。
われわれは、YouTube、Twitter、Redditから5万件のソーシャルメディアコメントを収集し、1万1000人の米国拠点のAmazon Mechanical Turkの労働者によってラベル付けされたデータセット上で、この新しい手法を実証した。
論文 参考訳（メタデータ） (2020-09-22T02:15:05Z) - Continuous speech separation: dataset and analysis [52.10378896407332]
自然な会話では、音声信号は連続的であり、重複成分と重複成分の両方を含む。
本稿では,連続音声分離アルゴリズムを評価するためのデータセットとプロトコルについて述べる。
論文 参考訳（メタデータ） (2020-01-30T18:01:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。