Fugu-MT 論文翻訳(概要): Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for Offensive Language Detection

論文の概要: Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for Offensive Language Detection

arxiv url: http://arxiv.org/abs/2004.13432v2
Date: Mon, 20 Jul 2020 06:51:59 GMT
ステータス: 処理完了
システム内更新日: 2022-12-08 22:05:57.830365
Title: Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for Offensive Language Detection
Title（参考訳）: kungfupanda at semeval-2020 task 12: bert-based multi-task learning for offensive language detection
Authors: Wenliang Dai, Tiezheng Yu, Zihan Liu, Pascale Fung
Abstract要約: 我々は,マルチタスク学習とBERTモデルを組み合わせた攻撃的言語検出システムを構築した。我々のモデルは、英語のサブタスクAで91.51%のF1スコアを獲得し、これは第1位に匹敵する。
参考スコア（独自算出の注目度）: 55.445023584632175
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Nowadays, offensive content in social media has become a serious problem, and automatically detecting offensive language is an essential task. In this paper, we build an offensive language detection system, which combines multi-task learning with BERT-based models. Using a pre-trained language model such as BERT, we can effectively learn the representations for noisy text in social media. Besides, to boost the performance of offensive language detection, we leverage the supervision signals from other related tasks. In the OffensEval-2020 competition, our model achieves 91.51% F1 score in English Sub-task A, which is comparable to the first place (92.23%F1). An empirical analysis is provided to explain the effectiveness of our approaches.
Abstract（参考訳）: 近年,ソーシャルメディアにおける攻撃的コンテンツは深刻な問題となり,攻撃的言語の自動検出が重要な課題となっている。本稿では,マルチタスク学習とBERTモデルを組み合わせた攻撃的言語検出システムを構築する。 BERTのような事前学習された言語モデルを用いて,ソーシャルメディアにおけるノイズの多いテキストの表現を効果的に学習することができる。さらに、攻撃的言語検出の性能を高めるために、他の関連するタスクからの監視信号を活用する。 OffensEval-2020では、英語のサブタスクAで91.51%のF1スコアを獲得し、これは第1位(92.23%F1)に匹敵する。提案手法の有効性を説明するための実証分析を行った。

関連論文リスト

ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation [79.66359274050885]
公的な事前訓練された音声のみのモデルと言語のみのモデルからなる複合アーキテクチャ上に構築された音声言語モデルであるComSLを提案する。提案手法は,エンドツーエンドの音声-テキスト翻訳タスクにおいて有効であることを示す。
論文参考訳（メタデータ） (2023-05-24T07:42:15Z)
Bag of Tricks for Effective Language Model Pretraining and Downstream Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。 GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文参考訳（メタデータ） (2023-02-18T09:26:35Z)
Overview of Abusive and Threatening Language Detection in Urdu at FIRE 2021 [50.591267188664666]
我々は、ウルドゥー語に対する虐待と脅しの2つの共通タスクを提示する。本研究では, (i) 乱用と非乱用というラベル付きツイートを含む手動注釈付きデータセットと, (ii) 脅威と非脅威の2つを提示する。両方のサブタスクに対して、m-Bertベースのトランスモデルは最高の性能を示した。
論文参考訳（メタデータ） (2022-07-14T07:38:13Z)
OCHADAI at SemEval-2022 Task 2: Adversarial Training for Multilingual Idiomaticity Detection [4.111899441919165]
文が慣用的表現を含むか否かを判定する多言語逆行訓練モデルを提案する。我々のモデルは、異なる多言語変換言語モデルからの事前学習された文脈表現に依存している。
論文参考訳（メタデータ） (2022-06-07T05:52:43Z)
Sample Efficient Approaches for Idiomaticity Detection [6.481818246474555]
本研究は, 慣用性検出の効率的な手法を探索する。特に,いくつかの分類法であるPET(Pattern Exploit Training)と,文脈埋め込みの効率的な方法であるBERTRAM(BERTRAM)の影響について検討した。実験の結果,PETは英語のパフォーマンスを向上するが,ポルトガル語やガリシア語では効果が低下し,バニラmBERTと同程度の総合的な性能が得られた。
論文参考訳（メタデータ） (2022-05-23T13:46:35Z)
Context-Aware Language Modeling for Goal-Oriented Dialogue Systems [84.65707332816353]
我々は、部分的に観察されたマルコフ決定過程としてゴール指向対話を定式化する。目的を意識して言語モデルを微調整する,シンプルで効果的な手法を考案する。本研究では,AirDialogue を用いた実践的なフライト予約タスクについて評価する。
論文参考訳（メタデータ） (2022-04-18T17:23:11Z)
Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
論文参考訳（メタデータ） (2022-04-11T15:55:20Z)
Galileo at SemEval-2020 Task 12: Multi-lingual Learning for Offensive Language Identification using Pre-trained Language Models [11.868582973877626]
本稿では,ソーシャルメディアにおける攻撃的言語の検出と分類に関するSemEval-2020 Task 12におけるガリレオの業績について述べる。攻撃的言語同定のために,事前学習型言語モデル,ERNIE,XLM-Rを用いた多言語手法を提案する。攻撃的言語分類法として,複数の教師付きモデルによって生成されたソフトラベルに基づく知識蒸留法を提案する。
論文参考訳（メタデータ） (2020-10-07T17:40:19Z)
ANDES at SemEval-2020 Task 12: A jointly-trained BERT multilingual model for offensive language detection [0.6445605125467572]
我々は,提案言語にまたがる課題に対処するために,多言語BERTを微調整した単一モデルを共同で訓練した。私たちの単一モデルは、最高のパフォーマンスシステムに近いパフォーマンスで、競争力のある結果を得ました。
論文参考訳（メタデータ） (2020-08-13T16:07:00Z)
GUIR at SemEval-2020 Task 12: Domain-Tuned Contextualized Models for Offensive Language Detection [27.45642971636561]
OffensEval 2020タスクには、攻撃的言語(Sub-task A)の存在の特定、攻撃的言語(Sub-task B)のターゲットの存在の特定、ターゲットのカテゴリ(Sub-task C)の識別の3つのサブタスクが含まれている。サブタスクAのF1スコアは91.7%、サブタスクBの66.5%、サブタスクCの63.2%である。
論文参考訳（メタデータ） (2020-07-28T20:45:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。