Fugu-MT 論文翻訳(概要): Model Bias in NLP -- Application to Hate Speech Classification

論文の概要: Model Bias in NLP -- Application to Hate Speech Classification

arxiv url: http://arxiv.org/abs/2109.09725v2
Date: Wed, 22 Sep 2021 21:02:29 GMT
ステータス: 処理完了
システム内更新日: 2021-09-24 12:52:43.433397
Title: Model Bias in NLP -- Application to Hate Speech Classification
Title（参考訳）: NLPにおけるモデルバイアス-ヘイト音声分類への応用
Authors: Jonas Bokstaller, Georgios Patoulidis and Aygul Zagidullina
Abstract要約: 本論文は2021年春季のETHにおけるNLP講義の結果をまとめたものである。この研究では、JIGSAWデータセットにBERTベースのニューラルネットワークモデルを適用する。精度は64%から90%程度で、少なくとも60%以下で許容できるリコール値を実現しています。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This document sums up our results forthe NLP lecture at ETH in the spring semester 2021. In this work, a BERT based neural network model (Devlin et al.,2018) is applied to the JIGSAW dataset (Jigsaw/Conversation AI, 2019) in order to create a model identifying hateful and toxic comments (strictly seperated from offensive language) in online social platforms (English language), inthis case Twitter. Three other neural network architectures and a GPT-2 (Radfordet al., 2019) model are also applied on the provided data set in order to compare these different models. The trained BERT model is then applied on two different data sets to evaluate its generalisation power, namely on another Twitter data set (Tom Davidson, 2017) (Davidsonet al., 2017) and the data set HASOC 2019 (Thomas Mandl, 2019) (Mandl et al.,2019) which includes Twitter and also Facebook comments; we focus on the English HASOC 2019 data. In addition, it can be shown that by fine-tuning the trained BERT model on these two datasets by applying different transfer learning scenarios via retraining partial or all layers the predictive scores improve compared to simply applying the model pre-trained on the JIGSAW data set. Withour results, we get precisions from 64% to around 90% while still achieving acceptable recall values of at least lower 60s%, proving that BERT is suitable for real usecases in social platforms.
Abstract（参考訳）: 本論文は2021年春季のETHにおけるNLP講義の結果をまとめたものである。本研究では、JIGSAWデータセット(Jigsaw/Conversation AI, 2019)にBERTベースのニューラルネットワークモデル(Devlin et al.,2018)を適用し、オンラインソーシャルプラットフォーム(英語)における憎悪と有害なコメント(厳密には攻撃的な言語から分離)を特定するモデルを作成する。他の3つのニューラルネットワークアーキテクチャとGPT-2(Radfordet al., 2019)モデルも、これらの異なるモデルを比較するために提供されるデータセットに適用される。トレーニングされたBERTモデルは、その一般化能力を評価するために、2つの異なるデータセット、すなわち別のTwitterデータセット(Tom Davidson, 2017)(Davidsonet al., 2017)と、TwitterとFacebookコメントを含むHASOC 2019(Thomas Mandl, 2019)データセット(Mandl et al., 2019)に適用される。さらに、これらの2つのデータセット上で、トレーニングされたBERTモデルを微調整することで、JIGSAWデータセットに事前トレーニングされたモデルを適用するよりも、部分的または全層をトレーニングすることで、予測スコアを改善することができる。その結果,64%から90%程度まで精度が向上し,少なくとも60%未満のリコール値が得られ,BERTがソーシャルプラットフォームにおける実際のユースケースに適していることが証明された。

関連論文リスト

Context-Based Tweet Engagement Prediction [0.0]
この論文は、ツイートのエンゲージメントの可能性を予測するために、コンテキスト単独がいかにうまく使われるかを調査する。私たちはTU WienのLittle Big Data ClusterにSparkエンジンを使用して、スケーラブルなデータ前処理、機能エンジニアリング、機能選択、マシンラーニングパイプラインを作成しました。また, 予測アルゴリズム, トレーニングデータセットサイズ, トレーニングデータセットサンプリング手法, 特徴選択などの因子が, 結果に有意な影響を及ぼすことがわかった。
論文参考訳（メタデータ） (2023-09-28T08:36:57Z)
The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文参考訳（メタデータ） (2023-09-20T10:31:17Z)
Scaling Laws Do Not Scale [54.72120385955072]
最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
論文参考訳（メタデータ） (2023-07-05T15:32:21Z)
"Medium" LMs of Code in the Era of LLMs: Lessons From StackOverflow [5.036273913335737]
SOBertBase、109Mパラメータを持つSOBertBaseと、762Mパラメータを持つSOBertLargeの2つのモデルを、それぞれ$187$と$800$の予算でトレーニングします。その結果、ドメイン内データを広範囲かつ適切に事前学習することで、クローズドソース汎用モデルを活用するための、強力で安価な代替手段が得られることが示された。
論文参考訳（メタデータ） (2023-06-05T21:38:30Z)
Exploring Category Structure with Contextual Language Models and Lexical Semantic Networks [0.0]
我々は、典型値の予測のために、CLMを探索するためのより広い範囲の手法を試験する。 BERTを用いた実験では,CLMプローブの適切な利用の重要性が示された。その結果, この課題における多義性の重要性が浮き彫りとなった。
論文参考訳（メタデータ） (2023-02-14T09:57:23Z)
BERT-based Ensemble Approaches for Hate Speech Detection [1.8734449181723825]
本稿では,複数のディープモデルを用いたソーシャルメディアにおけるヘイトスピーチの分類に焦点を当てた。ソフト投票,最大値,ハード投票,積み重ねなど,いくつかのアンサンブル手法を用いて評価を行った。実験の結果、特にアンサンブルモデルでは、スタックリングによってDavidsonデータセットでは97%、DHOデータセットでは77%のスコアが得られた。
論文参考訳（メタデータ） (2022-09-14T09:08:24Z)
HaT5: Hate Language Identification using Text-to-Text Transfer Transformer [1.2532400738980594]
比較的多様な2つのデータセットから5つのタスクにまたがる最先端技術(SoTA)アーキテクチャT5の性能について検討する。性能向上のために,自己回帰モデルを用いてトレーニングデータを増強する。サンプルの小さなセットを使用することで、データアノテーションが貧弱であることの難しさを明らかにします。
論文参考訳（メタデータ） (2022-02-11T15:21:27Z)
The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
論文参考訳（メタデータ） (2021-07-24T09:53:34Z)
Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文参考訳（メタデータ） (2021-06-01T22:33:53Z)
CorDEL: A Contrastive Deep Learning Approach for Entity Linkage [70.82533554253335]
エンティティリンケージ(EL)は、データのクリーニングと統合において重要な問題である。新たなデータの増加に伴い、ディープラーニング(DL)ベースのアプローチが提案され、従来のモデルに付随するELの高コスト化が図られている。我々は、ツインネットワークアーキテクチャはELに準最適であり、既存のモデルに固有の欠点をもたらすと主張している。
論文参考訳（メタデータ） (2020-09-15T16:33:05Z)
DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
論文参考訳（メタデータ） (2020-06-05T19:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。