論文の概要: Learning from the Worst: Dynamically Generated Datasets to Improve Online Hate Detection

• arxiv url: http://arxiv.org/abs/2012.15761v1
• Date: Thu, 31 Dec 2020 17:36:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 22:00:20.897087
• Title: Learning from the Worst: Dynamically Generated Datasets to Improve Online Hate Detection
• Title（参考訳）: 悪から学ぶ:オンラインヘイト検出を改善するために動的に生成されたデータセット
• Authors: Bertie Vidgen, Tristan Thrush, Zeerak Waseem, Douwe Kiela
• Abstract要約: オンラインヘイト分類のための世界初の大規模な合成トレーニングデータセットを紹介します。 詳細なラベルに対するアノテーション付きの40,623例のデータセットを提供する。 モデル性能とロバスト性は動的データ収集パラダイムを用いて大幅に改善できることを示す。
• 参考スコア（独自算出の注目度）: 26.447680377937978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a first-of-its-kind large synthetic training dataset for online hate classification, created from scratch with trained annotators over multiple rounds of dynamic data collection. We provide a 40,623 example dataset with annotations for fine-grained labels, including a large number of challenging contrastive perturbation examples. Unusually for an abusive content dataset, it comprises 54% hateful and 46% not hateful entries. We show that model performance and robustness can be greatly improved using the dynamic data collection paradigm. The model error rate decreased across rounds, from 72.1% in the first round to 35.8% in the last round, showing that models became increasingly harder to trick -- even though content become progressively more adversarial as annotators became more experienced. Hate speech detection is an important and subtle problem that is still very challenging for existing AI methods. We hope that the models, dataset and dynamic system that we present here will help improve current approaches, having a positive social impact.
• Abstract（参考訳）: 我々は,複数ラウンドの動的データ収集に対して,トレーニングアノテータによるスクラッチから作成した,オンラインヘイト分類のための,一級の大規模合成トレーニングデータセットを提案する。 我々は,細粒度ラベルに対するアノテーションを備えた40,623例のデータセットを提供し,多くの難解な比較摂動例を含む。 乱暴なコンテンツデータセットではまれに、54%が憎悪で、46%が憎悪ではない。 モデル性能とロバスト性は動的データ収集パラダイムを用いて大幅に改善できることを示す。 モデルエラー率は第1ラウンドで72.1%から第3ラウンドで35.8%に減少し、アノテーターがより経験を積むにつれて、コンテンツは次第に敵対的になりつつも、モデルを騙すのがますます難しくなったことを示している。 ヘイトスピーチ検出は重要で微妙な問題であり、既存のAI手法では依然として非常に難しい。 ここで提示されるモデル、データセット、動的システムは、現在のアプローチを改善するのに役立ち、社会にポジティブな影響を与えることを期待しています。

関連論文リスト

• Improving Adversarial Data Collection by Supporting Annotators: Lessons from GAHD, a German Hate Speech Dataset [3.8965079384103865]
  GAHDは,1,11kの例を含む新しいドイツ語のアディバーショナル・ヘイト音声データセットである。 実験の結果,最先端のヘイトスピーチ検出モデルにおいても,結果のデータセットは困難であることが判明した。
  論文  参考訳（メタデータ） (2024-03-28T16:44:14Z)
• CLIP the Bias: How Useful is Balancing Data in Multimodal Learning? [72.19502317793133]
  比較言語画像事前学習(CLIP)におけるバイアス軽減のためのデータバランスの有効性について検討する。 表現バイアスと相関バイアスの両方を低減するために,Multi-Modal Moment Matching (M4) と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T14:43:17Z)
• EvoGrad: A Dynamic Take on the Winograd Schema Challenge with Human Adversaries [10.230538419992882]
  私たちはEvoGradというオープンソースのプラットフォームを紹介します。これは、人間-イン-ザ-ループアプローチを利用して、変更したWSCインスタンスに合わせた動的データセットを作成します。 タスクインスタンスを182から3,691に拡張し、さまざまな常識推論データセットの新しいベンチマークを設定しました。 最高性能のLCMであるGPT-3.5でも平均誤差深さ7.2で65.0%の精度が得られる。
  論文  参考訳（メタデータ） (2024-02-20T20:53:24Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• HaT5: Hate Language Identification using Text-to-Text Transfer Transformer [1.2532400738980594]
  比較的多様な2つのデータセットから5つのタスクにまたがる最先端技術(SoTA)アーキテクチャT5の性能について検討する。 性能向上のために,自己回帰モデルを用いてトレーニングデータを増強する。 サンプルの小さなセットを使用することで、データアノテーションが貧弱であることの難しさを明らかにします。
  論文  参考訳（メタデータ） (2022-02-11T15:21:27Z)
• Learning to Model and Ignore Dataset Bias with Mixed Capacity Ensembles [66.15398165275926]
  本稿では,データセット固有のパターンを自動的に検出・無視する手法を提案する。 我々の方法は、より高い容量モデルでアンサンブルで低容量モデルを訓練する。 視覚的質問応答データセットの10ポイントゲインを含む,すべての設定の改善を示す。
  論文  参考訳（メタデータ） (2020-11-07T22:20:03Z)
• Trawling for Trolling: A Dataset [56.1778095945542]
  攻撃的コンテンツのサブカテゴリとしてトロリングをモデル化するデータセットを提案する。 データセットには12,490のサンプルがあり、5つのクラスに分かれている。
  論文  参考訳（メタデータ） (2020-08-02T17:23:55Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。