論文の概要: Vicarious Offense and Noise Audit of Offensive Speech Classifiers
- arxiv url: http://arxiv.org/abs/2301.12534v2
- Date: Fri, 3 Feb 2023 18:50:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 13:56:01.612239
- Title: Vicarious Offense and Noise Audit of Offensive Speech Classifiers
- Title（参考訳）: 攻撃的音声分類器の悪意ある犯罪と騒音監査
- Authors: Tharindu Cyril Weerasooriya and Sujan Dutta and Tharindu Ranasinghe
and Marcos Zampieri and Christopher M. Homan and Ashiqur R. KhudaBukhsh
- Abstract要約: 9つの機械モデレーターを用いて、9900万のYouTubeコメントからサンプルしたコーパスを用いて、よく知られた攻撃音声データセットに基づいて訓練したノイズ監査を行う。
我々は,(1)特定のソーシャルメディアポスト攻撃を見つけた場合,(2)異なる政治的信念を共有する攻撃的アノテータが,どのように同じ内容を見出すのかを尋ねる。
機械モデレーターを用いた実験により, 機械モデレーター毎にモデレーション結果が大きく異なることが明らかとなった。
- 参考スコア（独自算出の注目度）: 21.148571882303294
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper examines social web content moderation from two key perspectives:
automated methods (machine moderators) and human evaluators (human moderators).
We conduct a noise audit at an unprecedented scale using nine machine
moderators trained on well-known offensive speech data sets evaluated on a
corpus sampled from 92 million YouTube comments discussing a multitude of
issues relevant to US politics. We introduce a first-of-its-kind data set of
vicarious offense. We ask annotators: (1) if they find a given social media
post offensive; and (2) how offensive annotators sharing different political
beliefs would find the same content. Our experiments with machine moderators
reveal that moderation outcomes wildly vary across different machine
moderators. Our experiments with human moderators suggest that (1) political
leanings considerably affect first-person offense perspective; (2) Republicans
are the worst predictors of vicarious offense; (3) predicting vicarious offense
for the Republicans is most challenging than predicting vicarious offense for
the Independents and the Democrats; and (4) disagreement across political
identity groups considerably increases when sensitive issues such as
reproductive rights or gun control/rights are discussed. Both experiments
suggest that offense, is indeed, highly subjective and raise important
questions concerning content moderation practices.
- Abstract（参考訳）: 本稿では,自動手法(機械モデレーター)と人間評価器(人モデレーター)の2つの重要な視点から,ソーシャルWebコンテンツのモデレーションを検討する。
我々は、9億9200万のyoutubeコメントから収集したコーパスで評価された悪質な音声データセットを訓練した9人のマシンモデレーターを用いて、前例のない規模のノイズ監査を行う。
我々は、悪質な犯罪の第一種データセットを紹介する。
我々は,(1)特定のソーシャルメディアポスト攻撃を見つけた場合,(2)異なる政治的信念を共有する攻撃的アノテータが,どのように同じ内容を見出すのかを尋ねる。
機械モデレーターを用いた実験により, 機械モデレーター毎にモデレーション結果が大きく異なることがわかった。
Our experiments with human moderators suggest that (1) political leanings considerably affect first-person offense perspective; (2) Republicans are the worst predictors of vicarious offense; (3) predicting vicarious offense for the Republicans is most challenging than predicting vicarious offense for the Independents and the Democrats; and (4) disagreement across political identity groups considerably increases when sensitive issues such as reproductive rights or gun control/rights are discussed.
どちらの実験も、悪行は確かに非常に主観的であり、コンテンツモデレーションの実践に関する重要な疑問を提起している。
関連論文リスト
- FairSSD: Understanding Bias in Synthetic Speech Detectors [15.548402598331275]
既存の音声検出装置のバイアスを調べ、特定の性別、年齢、アクセントグループを不公平にターゲットするかどうかを判定する。
0.9万以上の音声信号を用いた6つの既存の合成音声検出器の実験では、ほとんどの検出器は性別、年齢、アクセントに偏っていることが示されている。
論文 参考訳（メタデータ） (2024-04-17T01:53:03Z) - CoSyn: Detecting Implicit Hate Speech in Online Conversations Using a
Context Synergized Hyperbolic Network [52.85130555886915]
CoSynは、オンライン会話における暗黙のヘイトスピーチを検出するために、ユーザと会話のコンテキストを明示的に組み込んだ、コンテキスト中心のニューラルネットワークである。
我々は、CoSynが、1.24%から57.8%の範囲で絶対的に改善された暗黙のヘイトスピーチを検出することで、我々のベースラインを全て上回っていることを示す。
論文 参考訳（メタデータ） (2023-03-02T17:30:43Z) - In search of strong embedding extractors for speaker diarisation [49.7017388682077]
話者ダイアリゼーションにEEを採用する際の2つの重要な問題に対処する。
まず、性能向上に必要な特徴が話者検証とダイアリゼーションに異なるため、評価は簡単ではない。
広く採用されている話者検証評価プロトコルの性能向上は、ダイアリゼーション性能の向上に繋がらないことを示す。
重なり合う音声や話者変化の入力を認識するために,2番目の問題を緩和する2つのデータ拡張手法を提案する。
論文 参考訳（メタデータ） (2022-10-26T13:00:29Z) - Assessing the impact of contextual information in hate speech detection [0.48369513656026514]
我々は,Twitter上のメディアからのニュース投稿に対するユーザの反応に基づいた,文脈的ヘイトスピーチ検出のための新しいコーパスを提供する。
このコーパスはリオプラテンセ方言のスペイン語で収集され、新型コロナウイルスのパンデミックに関連するヘイトスピーチに焦点を当てている。
論文 参考訳（メタデータ） (2022-10-02T09:04:47Z) - Hate Speech and Counter Speech Detection: Conversational Context Does
Matter [7.333666276087548]
本稿では,オンラインヘイトとカウンタースピーチのアノテーションと検出における会話コンテキストの役割について検討する。
私たちはRedditのコメントに3段階の分類タスク(ヘイトスピーチ、カウンタースピーチ、中立性)のためのコンテキスト対応データセットを作成しました。
論文 参考訳（メタデータ） (2022-06-13T19:05:44Z) - Beyond Plain Toxic: Detection of Inappropriate Statements on Flammable
Topics for the Russian Language [76.58220021791955]
本稿では,不合理性という二項的概念と,センシティブなトピックの多項的概念に基づいてラベル付けされた2つのテキストコレクションについて述べる。
不適切な概念を客観するために、クラウドソーシングではデータ駆動方式で定義する。
論文 参考訳（メタデータ） (2022-03-04T15:59:06Z) - Speaker Identity Preservation in Dysarthric Speech Reconstruction by
Adversarial Speaker Adaptation [59.41186714127256]
変形性音声再建(DSR)は,変形性音声の品質向上を目的としている。
話者識別に最適化された話者エンコーダ (SE) について検討した。
我々は,新しいマルチタスク学習戦略,すなわち対人話者適応(ASA)を提案する。
論文 参考訳（メタデータ） (2022-02-18T08:59:36Z) - Hate Speech Detection in Clubhouse [6.942237543984334]
Google Perspective Scoresを用いて,収集したインスタンスを統計的視点から分析する。
我々の実験では、パースペクティブスコアは、高レベルのテキスト機能として、WordsとWord2Vecのバグよりも優れています。
論文 参考訳（メタデータ） (2021-06-24T11:00:19Z) - Ruddit: Norms of Offensiveness for English Reddit Comments [35.83156813452207]
英語のRedditコメントの最初のデータセットを作成します。
本手法は信頼性の高い攻撃性スコアを生成する。
我々は、この新たなデータセット上での攻撃性スコアを予測するために、広く使われているニューラルネットワークの能力を評価する。
論文 参考訳（メタデータ） (2021-06-10T11:27:47Z) - News consumption and social media regulations policy [70.31753171707005]
我々は、ニュース消費とコンテンツ規制の間の相互作用を評価するために、反対のモデレーション手法であるTwitterとGabを強制した2つのソーシャルメディアを分析した。
以上の結果から,Twitterが追求するモデレーションの存在は,疑わしいコンテンツを著しく減少させることがわかった。
Gabに対する明確な規制の欠如は、ユーザが両方のタイプのコンテンツを扱う傾向を生じさせ、ディスカウント/エンドレスメントの振る舞いを考慮に入れた疑わしいコンテンツに対してわずかに好みを示す。
論文 参考訳（メタデータ） (2021-06-07T19:26:32Z) - Trawling for Trolling: A Dataset [56.1778095945542]
攻撃的コンテンツのサブカテゴリとしてトロリングをモデル化するデータセットを提案する。
データセットには12,490のサンプルがあり、5つのクラスに分かれている。
論文 参考訳（メタデータ） (2020-08-02T17:23:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。