論文の概要: UPB at SemEval-2021 Task 7: Adversarial Multi-Task Learning for
Detecting and Rating Humor and Offense
- arxiv url: http://arxiv.org/abs/2104.06063v1
- Date: Tue, 13 Apr 2021 09:59:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-14 21:29:56.332656
- Title: UPB at SemEval-2021 Task 7: Adversarial Multi-Task Learning for
Detecting and Rating Humor and Offense
- Title(参考訳): UPB at SemEval-2021 Task 7: Adversarial Multi-Task Learning for Detection and Rating Humor and Offense
- Authors: R\u{a}zvan-Alexandru Sm\u{a}du, Dumitru-Clementin Cercel, Mihai
Dascalu
- Abstract要約: 本稿では, 敵のマルチタスクネットワークであるAMTL-Humorを用いて, ユーモアや攻撃的テキストの検出と評価を行う。
私達の最もよいモデルはすべてのテストされた構成のアンサンブルから成り、95.66% F1スコアおよびタスク1aのための94.70%の正確さを達成します。
- 参考スコア(独自算出の注目度): 0.6404122934568858
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Detecting humor is a challenging task since words might share multiple
valences and, depending on the context, the same words can be even used in
offensive expressions. Neural network architectures based on Transformer obtain
state-of-the-art results on several Natural Language Processing tasks,
especially text classification. Adversarial learning, combined with other
techniques such as multi-task learning, aids neural models learn the intrinsic
properties of data. In this work, we describe our adversarial multi-task
network, AMTL-Humor, used to detect and rate humor and offensive texts from
Task 7 at SemEval-2021. Each branch from the model is focused on solving a
related task, and consists of a BiLSTM layer followed by Capsule layers, on top
of BERTweet used for generating contextualized embeddings. Our best model
consists of an ensemble of all tested configurations, and achieves a 95.66%
F1-score and 94.70% accuracy for Task 1a, while obtaining RMSE scores of 0.6200
and 0.5318 for Tasks 1b and 2, respectively.
- Abstract(参考訳): ユーモアの検出は難しい作業であり、言葉は複数の価値を共有し、文脈によっては、同じ単語が攻撃的な表現に使われることもある。
Transformerに基づくニューラルネットワークアーキテクチャは、いくつかの自然言語処理タスク、特にテキスト分類に関する最先端の結果を得る。
対立学習とマルチタスク学習などの他のテクニックを組み合わせることで、ニューラルネットワークはデータの本質的な特性を学ぶのに役立つ。
本研究では,SemEval-2021におけるタスク7のユーモアと攻撃的テキストの検出と評価に使用した,敵のマルチタスクネットワークAMTL-Humorについて述べる。
モデルの各ブランチは、関連するタスクの解決に重点を置いており、コンテキスト化された埋め込みを生成するために使用されるBERTweetの上に、BiLSTMレイヤとCapsuleレイヤが続く。
我々の最良のモデルは、全てのテスト済み構成のアンサンブルで構成され、タスク1aの95.66%のF1スコアと94.70%の精度を達成し、タスク1bと2のRMSEスコアをそれぞれ0.6200と0.5318を得る。
関連論文リスト
- Mavericks at ArAIEval Shared Task: Towards a Safer Digital Space --
Transformer Ensemble Models Tackling Deception and Persuasion [0.0]
本稿では,各課題のタスク1-Aとタスク2-Aのアプローチについて述べる。
タスクは、与えられたバイナリ分類問題に対して、ツイートとニュース記事のマルチジャンルスニペットを使用する。
タスク1-A(8位)では0.742、タスク2-A(7位)では0.901のマイクロF1スコアを達成した。
論文 参考訳(メタデータ) (2023-11-30T17:26:57Z) - Pre-training Multi-task Contrastive Learning Models for Scientific
Literature Understanding [52.723297744257536]
事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。
文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
論文 参考訳(メタデータ) (2023-05-23T16:47:22Z) - Effective Cross-Task Transfer Learning for Explainable Natural Language
Inference with T5 [50.574918785575655]
2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。
この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
論文 参考訳(メタデータ) (2022-10-31T13:26:08Z) - Multi-Task Meta Learning: learn how to adapt to unseen tasks [4.287114092271669]
本研究は,Multi-Task Learning(MTL)とメタラーニングという2つの学習パラダイムを統合する,MTML(Multi-task Meta Learning)を提案する。
基本的な考え方はマルチタスクモデルをトレーニングすることであり、例えば、目に見えないタスクを導入すると、より少ないステップで学習できると同時に、パフォーマンスを従来の単一タスク学習と同程度に向上させることができる。
MTMLは、NYU-v2データセットの4つのタスクのうち3つと、タスクノミーデータセットの4つのうち2つのタスクに対して、最先端の結果を達成する。
論文 参考訳(メタデータ) (2022-10-13T12:59:54Z) - DIALOG-22 RuATD Generated Text Detection [0.0]
TGM生成テキストと人書きテキストを区別できる検出器は、TGMの乱用を防ぐ重要な役割を果たす。
DIALOG-22 RuATDタスクのパイプラインを記述し、生成したテキスト(バイナリタスク)を検出し、どのモデルを使用してテキストを生成するかの分類を行う。
論文 参考訳(メタデータ) (2022-06-16T09:33:26Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳(メタデータ) (2022-05-25T10:44:25Z) - Improving Multi-task Generalization Ability for Neural Text Matching via
Prompt Learning [54.66399120084227]
最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。
我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。
特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。
一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
論文 参考訳(メタデータ) (2022-04-06T11:01:08Z) - Distribution Matching for Heterogeneous Multi-Task Learning: a
Large-scale Face Study [75.42182503265056]
マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。
我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。
大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
論文 参考訳(メタデータ) (2021-05-08T22:26:52Z) - MagicPai at SemEval-2021 Task 7: Method for Detecting and Rating Humor
Based on Multi-Task Adversarial Training [4.691435917434472]
本稿では,MagicPaiによるSemEval 2021 Task 7, HaHackathon: Detecting and Rating Humor and Offenseのシステムについて述べる。
この課題は、テキストがユーモラスか、いかにユーモラスかを検出することである。
主に、逆例に基づくマルチタスク学習モデルであるソリューションを紹介します。
論文 参考訳(メタデータ) (2021-04-21T03:23:02Z) - TechTexC: Classification of Technical Texts using Convolution and
Bidirectional Long Short Term Memory Network [0.0]
3つの手法を用いて分類処理を行うための分類システム(TechTexC)を開発した。
その結果,BiLSTMモデルを用いたCNNは,サブタスク (a,b,c,g) とタスク-2aのタスク-1に関する他の手法よりも優れていた。
テストセットの場合、cnnとbilstmの併用により、サブタスク1a (70.76%), 1b (79.97%), 1c (65.45%), 1g (49.23%), 2a (70.14%) の精度が向上した。
論文 参考訳(メタデータ) (2020-12-21T15:22:47Z) - Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for
Offensive Language Detection [55.445023584632175]
我々は,マルチタスク学習とBERTモデルを組み合わせた攻撃的言語検出システムを構築した。
我々のモデルは、英語のサブタスクAで91.51%のF1スコアを獲得し、これは第1位に匹敵する。
論文 参考訳(メタデータ) (2020-04-28T11:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。