論文の概要: Diagnosing Hate Speech Classification: Where Do Humans and Machines Disagree, and Why?

• arxiv url: http://arxiv.org/abs/2410.10153v2
• Date: Tue, 26 Nov 2024 02:28:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:33:30.403618
• Title: Diagnosing Hate Speech Classification: Where Do Humans and Machines Disagree, and Why?
• Title（参考訳）: ヘイトスピーチ分類の診断:人間と機械はどこで診断し、なぜ診断するのか?
• Authors: Xilin Yang,
• Abstract要約: 我々は、ヘイトスピーチ分類の診断にコサイン類似度比、埋め込み回帰、手動再注釈を用いる。 女性アノテーターは黒人を標的とする人種的なスラリーに敏感である。 機械が人間のアノテータと矛盾するところの診断において、機械は人間よりもミスが少ないことがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This study uses the cosine similarity ratio, embedding regression, and manual re-annotation to diagnose hate speech classification. We begin by computing cosine similarity ratio on a dataset "Measuring Hate Speech" that contains 135,556 annotated comments on social media. This way, we show a basic use of cosine similarity as a description of hate speech content. We then diagnose hate speech classification starting from understanding the inconsistency of human annotation from the dataset. Using embedding regression as a basic diagnostic, we found that female annotators are more sensitive to racial slurs that target the black population. We perform with a more complicated diagnostic by training a hate speech classifier using a SoTA pre-trained large language model, NV-Embed-v2, to convert texts to embeddings and run a logistic regression. This classifier achieves a testing accuracy of 94%. In diagnosing where machines disagree with human annotators, we found that machines make fewer mistakes than humans despite the fact that human annotations are treated as ground truth in the training set. Machines perform better in correctly labeling long statements of facts, but perform worse in labeling short instances of swear words. We hypothesize that this is due to model alignment - while curating models at their creation prevents the models from producing obvious hate speech, it also reduces the model's ability to detect such content.
• Abstract（参考訳）: 本研究では,コサイン類似度比,埋め込み回帰,手動再注釈を用いてヘイトスピーチ分類を診断する。 まず,ソーシャルメディアに注釈付きコメント135,556件を含むデータセット "Measuring Hate Speech" のコサイン類似度比を計算することから始める。 このようにして、ヘイトスピーチの内容の記述として、コサイン類似性の基本的利用を示す。 そして、データセットから人間のアノテーションの不整合を理解することから、ヘイトスピーチ分類を診断する。 埋め込み回帰を基本的な診断として用いた結果,女性アノテーターは黒人を標的とする人種的スラリーに対してより敏感であることが判明した。 我々は、テキストを埋め込みに変換し、ロジスティック回帰を実行するために、SOTA事前訓練された大言語モデルNV-Embed-v2を用いてヘイトスピーチ分類器を訓練することにより、より複雑な診断を行う。 この分類器は、テスト精度が94%に達する。 機械が人間のアノテータと矛盾する箇所の診断において、人間のアノテーションがトレーニングセットの根本的真実として扱われているにもかかわらず、機械が人間よりも少ないミスを犯すことが判明した。 機械は、事実の長いステートメントを正しくラベル付けする上では優れていますが、誓い言葉の短いインスタンスをラベル付けする場合には、さらに悪化します。 これはモデルアライメントによるものだと仮定する — モデルの生成時にモデルをキュレートすることで、モデルが明らかなヘイトスピーチを発生させない一方で、モデルがそのようなコンテンツを検出できる能力も低下する。

関連論文リスト

• Hate Speech Detection Using Cross-Platform Social Media Data In English and German Language [6.200058263544999]
  本研究は,YouTubeコメントにおけるバイリンガルヘイトスピーチの検出に焦点を当てた。 コンテントの類似性、定義の類似性、一般的なヘイトワードなど、データセットがパフォーマンスに与える影響を測定する要素が含まれています。 最高のパフォーマンスは、YouTubeコメント、Twitter、Gabのデータセットと、英語とドイツ語のYouTubeコメントのためのF1スコアの0.74と0.68を組み合わせることで得られる。
  論文  参考訳（メタデータ） (2024-10-02T10:22:53Z)
• SpeechAlign: Aligning Speech Generation to Human Preferences [51.684183257809075]
  本稿では,言語モデルと人間の嗜好を一致させる反復的自己改善戦略であるSpeechAlignを紹介する。 我々は、SpeechAlignが分散ギャップを埋め、言語モデルの継続的自己改善を促進することができることを示す。
  論文  参考訳（メタデータ） (2024-04-08T15:21:17Z)
• HARE: Explainable Hate Speech Detection with Step-by-Step Reasoning [29.519687405350304]
  本稿では,大規模言語モデル(LLM)の推論能力を利用して,ヘイトスピーチの説明のギャップを埋めるヘイトスピーチ検出フレームワークHAREを紹介する。 SBICとImplicit Hateベンチマークの実験では、モデル生成データを用いた手法がベースラインを一貫して上回ることを示した。 提案手法は,訓練されたモデルの説明品質を高め,未知のデータセットへの一般化を改善する。
  論文  参考訳（メタデータ） (2023-11-01T06:09:54Z)
• Hate Speech Detection in Limited Data Contexts using Synthetic Data Generation [1.9506923346234724]
  本稿では,限られたデータコンテキストにおいて,オンラインヘイトスピーチ検出のためのデータ不足の問題に対処するデータ拡張手法を提案する。 対象言語におけるヘイトスピーチデータの新しい例を合成する3つの方法を提案する。 以上の結果から, 合成データを用いたモデルでは, 対象領域で利用可能なサンプルに対してのみ学習したモデルが比較可能であり, 性能が良好である場合も見いだされた。
  論文  参考訳（メタデータ） (2023-10-04T15:10:06Z)
• Understanding and Mitigating Spurious Correlations in Text Classification with Neighborhood Analysis [69.07674653828565]
  機械学習モデルは、トレーニングセットに存在するが一般的な状況では当てはまらない急激な相関を利用する傾向にある。 本稿では, 周辺分析と呼ばれる新しい視点から, 突発的相関がもたらす意味について考察する。 本稿では,テキスト分類における素早い相関を緩和する正規化手法であるNFL(doN't Forget your Language)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T03:55:50Z)
• CoSyn: Detecting Implicit Hate Speech in Online Conversations Using a Context Synergized Hyperbolic Network [52.85130555886915]
  CoSynは、オンライン会話における暗黙のヘイトスピーチを検出するために、ユーザと会話のコンテキストを明示的に組み込んだ、コンテキスト中心のニューラルネットワークである。 我々は、CoSynが、1.24%から57.8%の範囲で絶対的に改善された暗黙のヘイトスピーチを検出することで、我々のベースラインを全て上回っていることを示す。
  論文  参考訳（メタデータ） (2023-03-02T17:30:43Z)
• Language Model Classifier Aligns Better with Physician Word Sensitivity than XGBoost on Readmission Prediction [86.15787587540132]
  語彙レベルでモデルの振る舞いを精査する尺度である感度スコアを導入する。 本実験は,感度スコアのランク相関に基づいて,臨床医と分類医の意思決定論理を比較した。
  論文  参考訳（メタデータ） (2022-11-13T23:59:11Z)
• Deep Learning for Hate Speech Detection: A Comparative Study [54.42226495344908]
  ここでは, ディープ・ヘイト・音声検出法と浅いヘイト・音声検出法を大規模に比較した。 私たちの目標は、この地域の進歩を照らし、現在の最先端の強みと弱点を特定することです。 そこで我々は,ヘイトスピーチ検出の実践的利用に関するガイダンスの提供,最先端の定量化,今後の研究方向の特定を目的としている。
  論文  参考訳（メタデータ） (2022-02-19T03:48:20Z)
• Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
  本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。 言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。 本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
  論文  参考訳（メタデータ） (2022-01-15T20:48:14Z)
• HateXplain: A Benchmark Dataset for Explainable Hate Speech Detection [27.05719607624675]
  この問題の複数の側面をカバーする最初のベンチマークヘイトスピーチデータセットであるHateXplainを紹介した。 データセット内の各投稿は、3つの異なる視点からアノテートされます。 トレーニングに人間の合理性を利用するモデルは、目標とするコミュニティに対する意図しない偏見を減らすのに優れている。
  論文  参考訳（メタデータ） (2020-12-18T15:12:14Z)
• Demoting Racial Bias in Hate Speech Detection [39.376886409461775]
  現在のヘイトスピーチデータセットには、アノテーターの毒性に対する認識とアフリカ系アメリカ人英語(AAE)の信号との間に相関がある。 本稿では,このバイアスを軽減するために,敵対的訓練を用いて,有害な文章の検出を学習するヘイトスピーチ分類器を導入する。 ヘイトスピーチデータセットとAEデータセットの実験結果から,本手法はヘイトスピーチ分類の性能を最小限に抑えつつ,AAEテキストの偽陽性率を大幅に低減できる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-05-25T17:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。