論文の概要: An Information Retrieval Approach to Building Datasets for Hate Speech Detection

• arxiv url: http://arxiv.org/abs/2106.09775v2
• Date: Mon, 21 Jun 2021 00:45:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 12:17:37.138368
• Title: An Information Retrieval Approach to Building Datasets for Hate Speech Detection
• Title（参考訳）: ヘイトスピーチ検出のためのデータセット構築のための情報検索手法
• Authors: Md Mustafizur Rahman, Dinesh Balakrishnan, Dhiraj Murthy, Mucahid Kutlu, Matthew Lease
• Abstract要約: 「一般的な慣行は、既知の憎しみの言葉を含むツイートを注釈するだけである。」 第二の課題は、ヘイトスピーチの定義が高度に変動し、主観的である傾向があることである。 我々の重要な洞察は、ヘイトスピーチの希少性と主観性が情報検索(IR)の関連性に類似していることである。
• 参考スコア（独自算出の注目度）: 3.587367153279349
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Building a benchmark dataset for hate speech detection presents several challenges. Firstly, because hate speech is relatively rare -- e.g., less than 3\% of Twitter posts are hateful \citep{founta2018large} -- random sampling of tweets to annotate is inefficient in capturing hate speech. A common practice is to only annotate tweets containing known ``hate words'', but this risks yielding a biased benchmark that only partially captures the real-world phenomenon of interest. A second challenge is that definitions of hate speech tend to be highly variable and subjective. Annotators having diverse prior notions of hate speech may not only disagree with one another but also struggle to conform to specified labeling guidelines. Our key insight is that the rarity and subjectivity of hate speech are akin to that of relevance in information retrieval (IR). This connection suggests that well-established methodologies for creating IR test collections might also be usefully applied to create better benchmark datasets for hate speech detection. Firstly, to intelligently and efficiently select which tweets to annotate, we apply established IR techniques of {\em pooling} and {\em active learning}. Secondly, to improve both consistency and value of annotations, we apply {\em task decomposition} \cite{Zhang-sigir14} and {\em annotator rationale} \cite{mcdonnell16-hcomp} techniques. Using the above techniques, we create and share a new benchmark dataset\footnote{We will release the dataset upon publication.} for hate speech detection with broader coverage than prior datasets. We also show a dramatic drop in accuracy of existing detection models when tested on these broader forms of hate. Collected annotator rationales not only provide documented support for labeling decisions but also create exciting future work opportunities for dual-supervision and/or explanation generation in modeling.
• Abstract（参考訳）: ヘイトスピーチ検出のためのベンチマークデータセットの構築にはいくつかの課題がある。 第一に、ヘイトスピーチは比較的稀である - 例えば、Twitter投稿の3\%未満はヘイトフル \citep{founta2018large} である。 一般的な方法は、既知の‘hate words’を含むツイートに注釈を付けるだけであるが、これは現実世界の関心現象を部分的に捉えたバイアス付きベンチマークをもたらす。 2つめの課題は、ヘイトスピーチの定義が非常に可変で主観的である傾向があることである。 ヘイトスピーチの様々な先行概念を持つアノテーションは、互いに同意するだけでなく、特定のラベル付けガイドラインに従うのにも苦労する。 我々の重要な洞察は、ヘイトスピーチの希少性と主観性が情報検索(IR)の関連性に類似していることである。 この接続は、IRテストコレクションを作成するための確立された方法論が、ヘイトスピーチ検出のためのより良いベンチマークデータセットを作成するために有用である可能性を示唆している。 まず,アノテートすべきツイートをインテリジェントかつ効率的に選択するために,"em pooling} と "em active learning" という確立されたir技術を適用する。 第二に、アノテーションの一貫性と値の両方を改善するために、 {\em Task decomposition} \cite{Zhang-sigir14} と {\em annotator rationale} \cite{mcdonnell16-hcomp} の技法を適用する。 上記のテクニックを使用して、新しいベンチマークデータセット\footnote{We will release the dataset upon Publish} を作成し、共有する。 以前のデータセットよりも広い範囲をカバーするヘイトスピーチ検出のために。 また,これらより広い形態の憎悪に対して,既存の検出モデルの精度が劇的に低下することを示した。 収集された注釈器の合理化はラベル付け決定に対する文書化されたサポートを提供するだけでなく、モデリングにおける二重スーパービジョンおよび/または説明生成のためのエキサイティングな将来の作業機会を生み出す。

関連論文リスト

• Hierarchical Sentiment Analysis Framework for Hate Speech Detection: Implementing Binary and Multiclass Classification Strategy [0.0]
  本稿では,英語におけるヘイトスピーチを検出するために,共有感情表現と統合された新しいマルチタスクモデルを提案する。 我々は、感情分析とトランスフォーマーに基づく訓練モデルを利用することで、複数のデータセット間でのヘイトスピーチの検出を大幅に改善できると結論付けた。
  論文  参考訳（メタデータ） (2024-11-03T04:11:33Z)
• HARE: Explainable Hate Speech Detection with Step-by-Step Reasoning [29.519687405350304]
  本稿では,大規模言語モデル(LLM)の推論能力を利用して,ヘイトスピーチの説明のギャップを埋めるヘイトスピーチ検出フレームワークHAREを紹介する。 SBICとImplicit Hateベンチマークの実験では、モデル生成データを用いた手法がベースラインを一貫して上回ることを示した。 提案手法は,訓練されたモデルの説明品質を高め,未知のデータセットへの一般化を改善する。
  論文  参考訳（メタデータ） (2023-11-01T06:09:54Z)
• On the Challenges of Building Datasets for Hate Speech Detection [0.0]
  我々はまず,データ中心のレンズを用いてヘイトスピーチ検出を取り巻く問題を分析する。 次に、データ生成パイプラインを7つの広範囲にわたってカプセル化する、包括的なフレームワークの概要を示します。
  論文  参考訳（メタデータ） (2023-09-06T11:15:47Z)
• CoSyn: Detecting Implicit Hate Speech in Online Conversations Using a Context Synergized Hyperbolic Network [52.85130555886915]
  CoSynは、オンライン会話における暗黙のヘイトスピーチを検出するために、ユーザと会話のコンテキストを明示的に組み込んだ、コンテキスト中心のニューラルネットワークである。 我々は、CoSynが、1.24%から57.8%の範囲で絶対的に改善された暗黙のヘイトスピーチを検出することで、我々のベースラインを全て上回っていることを示す。
  論文  参考訳（メタデータ） (2023-03-02T17:30:43Z)
• ToKen: Task Decomposition and Knowledge Infusion for Few-Shot Hate Speech Detection [85.68684067031909]
  この問題を数ショットの学習タスクとみなし、タスクを「構成」部分に分解することで大きな成果を上げている。 さらに、推論データセット(例えばAtomic 2020)から知識を注入することで、パフォーマンスはさらに向上する。
  論文  参考訳（メタデータ） (2022-05-25T05:10:08Z)
• Anti-Asian Hate Speech Detection via Data Augmented Semantic Relation Inference [4.885207279350052]
  本稿では,自然言語推論フレームワークにおけるヘイトスピーチ検出を強化するために,感情ハッシュタグを活用する新しい手法を提案する。 我々は,(1)オンライン投稿と感情ハッシュタグ間の意味的関係推論,(2)これらの投稿に対する感情分類の2つのタスクを同時に実行する新しいフレームワークSRICを設計する。
  論文  参考訳（メタデータ） (2022-04-14T15:03:35Z)
• Deep Learning for Hate Speech Detection: A Comparative Study [54.42226495344908]
  ここでは, ディープ・ヘイト・音声検出法と浅いヘイト・音声検出法を大規模に比較した。 私たちの目標は、この地域の進歩を照らし、現在の最先端の強みと弱点を特定することです。 そこで我々は,ヘイトスピーチ検出の実践的利用に関するガイダンスの提供,最先端の定量化,今後の研究方向の特定を目的としている。
  論文  参考訳（メタデータ） (2022-02-19T03:48:20Z)
• Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
  本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。 言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。 本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
  論文  参考訳（メタデータ） (2022-01-15T20:48:14Z)
• Detection of Hate Speech using BERT and Hate Speech Word Embedding with Deep Model [0.5801044612920815]
  本稿では,双方向LSTMに基づくディープモデルにドメイン固有の単語を埋め込み,ヘイトスピーチを自動的に検出・分類する可能性について検討する。 実験の結果、Bidirectional LSTMベースのディープモデルによるドメイン固有単語の埋め込みは93%のf1スコアを獲得し、BERTは96%のf1スコアを達成した。
  論文  参考訳（メタデータ） (2021-11-02T11:42:54Z)
• A Token-level Reference-free Hallucination Detection Benchmark for Free-form Text Generation [50.55448707570669]
  本稿ではトークンレベルの参照なし幻覚検出タスクとHaDesというアノテーション付きデータセットを提案する。 このデータセットを作成するために、まず英語のウィキペディアから抽出された大量のテキストセグメントを摂り込み、それからクラウドソースアノテーションで検証する。
  論文  参考訳（メタデータ） (2021-04-18T04:09:48Z)
• Words aren't enough, their order matters: On the Robustness of Grounding Visual Referring Expressions [87.33156149634392]
  視覚的参照表現認識のための標準ベンチマークであるRefCOgを批判的に検討する。 83.7%のケースでは言語構造に関する推論は不要である。 比較学習とマルチタスク学習の2つの手法を提案し,ViLBERTのロバスト性を高める。
  論文  参考訳（メタデータ） (2020-05-04T17:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。