論文の概要: A benchmark for toxic comment classification on Civil Comments dataset

• arxiv url: http://arxiv.org/abs/2301.11125v1
• Date: Thu, 26 Jan 2023 14:25:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-27 13:35:05.035345
• Title: A benchmark for toxic comment classification on Civil Comments dataset
• Title（参考訳）: Civil Comments データセットにおける有害コメント分類のベンチマーク
• Authors: Corentin Duchene, Henri Jamet, Pierre Guillaume, Reda Dehak
• Abstract要約: 本稿では,高度に歪んだマルチラベルヘイトスピーチデータセットにおいて,多種多様なモデルを比較検討する。 すべてのBERTは、モデルのサイズ、最適化、あるいは事前トレーニングに使用される言語に関係なく、同様の性能を持つことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Toxic comment detection on social media has proven to be essential for content moderation. This paper compares a wide set of different models on a highly skewed multi-label hate speech dataset. We consider inference time and several metrics to measure performance and bias in our comparison. We show that all BERTs have similar performance regardless of the size, optimizations or language used to pre-train the models. RNNs are much faster at inference than any of the BERT. BiLSTM remains a good compromise between performance and inference time. RoBERTa with Focal Loss offers the best performance on biases and AUROC. However, DistilBERT combines both good AUROC and a low inference time. All models are affected by the bias of associating identities. BERT, RNN, and XLNet are less sensitive than the CNN and Compact Convolutional Transformers.
• Abstract（参考訳）: ソーシャルメディア上での有害コメント検出は、コンテンツモデレーションに不可欠であることが証明されている。 本稿では,高度に歪んだマルチラベルヘイトスピーチデータセットにおいて,多種多様なモデルを比較する。 比較では、推論時間といくつかのメトリクスを使ってパフォーマンスとバイアスを測定します。 すべてのbertは、モデル事前トレーニングに使用されるサイズ、最適化、言語に関係なく、同様のパフォーマンスを示す。 rnn は bert よりも推論がはるかに高速である。 BiLSTMは、パフォーマンスと推論時間の間の良い妥協点である。 Focal LossのRoBERTaはバイアスとAUROCで最高のパフォーマンスを提供する。 しかし、DistilBERTは良いAUROCと低い推論時間を組み合わせたものである。 すべてのモデルは、関連付けられたアイデンティティのバイアスによって影響を受ける。 BERT、RNN、XLNetはCNNやCompact Convolutional Transformerよりも感度が低い。

関連論文リスト

• NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
  提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
  論文  参考訳（メタデータ） (2024-11-08T20:11:24Z)
• REST: Enhancing Group Robustness in DNNs through Reweighted Sparse Training [49.581884130880944]
  ディープニューラルネットワーク(DNN)は様々な領域で有効であることが証明されている。 しかし、彼らは推論中に一部の少数派でうまく行動するのに苦労することが多い。
  論文  参考訳（メタデータ） (2023-12-05T16:27:54Z)
• A Trustable LSTM-Autoencoder Network for Cyberbullying Detection on Social Media Using Synthetic Data [2.378735224874938]
  本稿では,ソーシャルメディア上でのサイバーバブル検出のための信頼性の高いLSTM-Autoencoderネットワークを提案する。 我々は、機械翻訳データを生成することにより、データの可用性の難しさに対処する最先端の手法を実証した。 我々はヒンディー語、バングラ語、英語のデータセットに対するアグレッシブなコメントを実験的に同定した。
  論文  参考訳（メタデータ） (2023-08-15T17:20:05Z)
• BERT-based Ensemble Approaches for Hate Speech Detection [1.8734449181723825]
  本稿では,複数のディープモデルを用いたソーシャルメディアにおけるヘイトスピーチの分類に焦点を当てた。 ソフト投票,最大値,ハード投票,積み重ねなど,いくつかのアンサンブル手法を用いて評価を行った。 実験の結果、特にアンサンブルモデルでは、スタックリングによってDavidsonデータセットでは97%、DHOデータセットでは77%のスコアが得られた。
  論文  参考訳（メタデータ） (2022-09-14T09:08:24Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• COVID-19 Fake News Detection Using Bidirectional Encoder Representations from Transformers Based Models [16.400631119118636]
  新型コロナウイルス(COVID-19)の偽ニュース検出は、NLP分野において新しく重要な課題となっている。 本稿では,変換器モデル(BERT)をベースモデルとして,事前学習した双方向表現を微調整する。 BiLSTM 層と CNN 層をそれぞれ凍結パラメータを持つ細調整BERT モデルのトップに加える。
  論文  参考訳（メタデータ） (2021-09-30T02:50:05Z)
• FBERT: A Neural Transformer for Identifying Offensive Content [67.12838911384024]
  fBERTは、SOLIDで再訓練されたBERTモデルである。 複数の英文データセット上での攻撃的内容の同定におけるfBERTの性能を評価し、SOLIDからインスタンスを選択するためのしきい値をテストする。 fBERTモデルは、コミュニティで自由に利用できるようになる。
  論文  参考訳（メタデータ） (2021-09-10T19:19:26Z)
• Transformer-based Language Model Fine-tuning Methods for COVID-19 Fake News Detection [7.29381091750894]
  偽ニュース検出のためのトランスフォーマーに基づく言語モデルの微調整手法を提案する。 まず、個々のモデルのトークン語彙を専門用語の実際の意味論のために拡張する。 最後に、普遍言語モデルRoBERTaとドメイン固有モデルCT-BERTによって抽出された予測特徴を、複数の層認識によって融合させ、微細で高レベルな特定の表現を統合する。
  論文  参考訳（メタデータ） (2021-01-14T09:05:42Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。