論文の概要: BERT based Transformers lead the way in Extraction of Health Information
from Social Media
- arxiv url: http://arxiv.org/abs/2104.07367v1
- Date: Thu, 15 Apr 2021 10:50:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-16 14:53:10.468409
- Title: BERT based Transformers lead the way in Extraction of Health Information
from Social Media
- Title（参考訳）: BERTベースのトランスフォーマーは、ソーシャルメディアから健康情報の抽出をリードする
- Authors: Sidharth R, Abhiraj Tiwari, Parthivi Choubey, Saisha Kashyap, Sahil
Khose, Kumud Lakara, Nishesh Singh, Ujjwal Verma
- Abstract要約: 英語ツイートにおける有害薬物効果(ade)の分類・抽出・正規化(task-1)と症状を含むcovid-19ツイートの分類(task-6)の2つの課題に参加した。
サブタスク-1(a)は61%のF1スコアで1位にランクインしました。
サブタスク-1(b)では50%のF1スコアを獲得し、すべての提出物の平均スコアに対して最大で+8%のF1を向上しました。
BERTweetモデルはSMM4H 2021 Task-6で94%のF1スコアを達成しました。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper describes our submissions for the Social Media Mining for Health
(SMM4H)2021 shared tasks. We participated in 2 tasks:(1) Classification,
extraction and normalization of adverse drug effect (ADE) mentions in English
tweets (Task-1) and (2) Classification of COVID-19 tweets containing
symptoms(Task-6). Our approach for the first task uses the language
representation model RoBERTa with a binary classification head. For the second
task, we use BERTweet, based on RoBERTa. Fine-tuning is performed on the
pre-trained models for both tasks. The models are placed on top of a custom
domain-specific processing pipeline. Our system ranked first among all the
submissions for subtask-1(a) with an F1-score of 61%. For subtask-1(b), our
system obtained an F1-score of 50% with improvements up to +8% F1 over the
score averaged across all submissions. The BERTweet model achieved an F1 score
of 94% on SMM4H 2021 Task-6.
- Abstract（参考訳）: 本稿では,SMM4H(Social Media Mining for Health)2021の共有タスクについて述べる。
本研究では,(1)英語のつぶやき(Task-1)と(2)症状を含むCOVID-19ツイート(Task-6)の分類,抽出,正規化の2つのタスクに参加した。
最初のタスクに対する我々のアプローチは、バイナリ分類ヘッドを持つ言語表現モデルRoBERTaを使用する。
2つ目のタスクでは、RoBERTaをベースにしたBERTweetを使用します。
細調整は、両方のタスクで事前訓練されたモデルで実行される。
モデルは、カスタムドメイン固有の処理パイプラインの上に置かれる。
提案システムでは,subtask-1(a)の応募者の中で,f1-scoreが61%で第1位にランクインした。
サブタスク1(b)の場合、全投稿の平均スコアに対して最大で+8%のf1が改善され、f1-scoreが50%の値を得た。
BERTweetモデルはSMM4H 2021 Task-6で94%のスコアを記録した。
関連論文リスト
- LT4SG@SMM4H24: Tweets Classification for Digital Epidemiology of Childhood Health Outcomes Using Pre-Trained Language Models [1.0312118123538199]
本稿では,子どもの医学的障害を報告した英語ツイートのバイナリ分類について,SMM4H24共有タスク5に対するアプローチを提案する。
テストデータに対するF1スコアの0.938を達成し,ベンチマークを1.18%上回った。
論文 参考訳（メタデータ） (2024-06-11T22:48:18Z) - ThangDLU at #SMM4H 2024: Encoder-decoder models for classifying text data on social disorders in children and adolescents [49.00494558898933]
本稿では,#SMM4H (Social Media Mining for Health) 2024 Workshopのタスク3とタスク5への参加について述べる。
タスク3は、屋外環境が社会不安の症状に与える影響を議論するツイートを中心にした多クラス分類タスクである。
タスク5は、子供の医学的障害を報告しているツイートに焦点を当てたバイナリ分類タスクを含む。
BART-baseやT5-smallのような事前訓練されたエンコーダデコーダモデルからの転送学習を適用し、与えられたツイートの集合のラベルを同定した。
論文 参考訳（メタデータ） (2024-04-30T17:06:20Z) - Mavericks at ArAIEval Shared Task: Towards a Safer Digital Space --
Transformer Ensemble Models Tackling Deception and Persuasion [0.0]
本稿では,各課題のタスク1-Aとタスク2-Aのアプローチについて述べる。
タスクは、与えられたバイナリ分類問題に対して、ツイートとニュース記事のマルチジャンルスニペットを使用する。
タスク1-A(8位)では0.742、タスク2-A(7位)では0.901のマイクロF1スコアを達成した。
論文 参考訳（メタデータ） (2023-11-30T17:26:57Z) - Toward Efficient Language Model Pretraining and Downstream Adaptation
via Self-Evolution: A Case Study on SuperGLUE [203.65227947509933]
このレポートでは、スーパーGLUEのリーダーボードにJDExplore d-teamのVega v2を提出しました。
SuperGLUEは、広く使われている汎用言語理解評価(GLUE)ベンチマークよりも難易度が高く、8つの難しい言語理解タスクを含んでいる。
論文 参考訳（メタデータ） (2022-12-04T15:36:18Z) - BJTU-WeChat's Systems for the WMT22 Chat Translation Task [66.81525961469494]
本稿では,WMT'22チャット翻訳タスクに対して,北京地東大学とWeChat AIを共同で提案する。
Transformerに基づいて、いくつかの有効な変種を適用します。
本システムでは,0.810と0.946のCOMETスコアを達成している。
論文 参考訳（メタデータ） (2022-11-28T02:35:04Z) - Overview of the Shared Task on Fake News Detection in Urdu at FIRE 2020 [62.6928395368204]
タスクはバイナリ分類タスクとして設定され、ゴールはリアルニュースとフェイクニュースを区別することである。
トレーニング用に900の注釈付きニュース記事とテスト用に400のニュース記事のデータセットを作成した。
6カ国(インド、中国、エジプト、ドイツ、パキスタン、イギリス)の42チームが登録された。
論文 参考訳（メタデータ） (2022-07-25T03:41:32Z) - The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。
私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。
翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
論文 参考訳（メタデータ） (2021-07-24T09:53:34Z) - Phonemer at WNUT-2020 Task 2: Sequence Classification Using COVID
Twitter BERT and Bagging Ensemble Technique based on Plurality Voting [0.0]
新型コロナウイルス(COVID-19)に関連する英語のつぶやきを自動的に識別するシステムを開発した。
最終アプローチでは0.9037のF1スコアを達成し,F1スコアを評価基準として総合6位にランク付けした。
論文 参考訳（メタデータ） (2020-10-01T10:54:54Z) - CIA_NITT at WNUT-2020 Task 2: Classification of COVID-19 Tweets Using
Pre-trained Language Models [0.0]
我々はこれをバイナリテキスト分類問題として扱い、事前訓練された言語モデルを用いて実験する。
我々はCT-BERTをベースとしたF1スコアを88.7%、CT-BERT、RoBERTa、SVMのアンサンブルであるF1スコアを88.52%とする。
論文 参考訳（メタデータ） (2020-09-12T12:59:54Z) - Want to Identify, Extract and Normalize Adverse Drug Reactions in
Tweets? Use RoBERTa [5.33024001730262]
本稿では,ソーシャル・メディア・マイニング・フォー・ヘルス(SMM4H)2020におけるタスク2とタスク3の取り組みについて述べる。
タスク2では、有害薬物反応(ADR)ツイートと非ADRツイートを区別し、バイナリ分類として扱う。
タスク3では、ADR参照を抽出し、MedDRAコードにマッピングする。
我々のモデルは、平均スコアよりも大幅に改善された両方のタスクにおいて、有望な結果を達成する。
論文 参考訳（メタデータ） (2020-06-29T16:10:27Z) - DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。
これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
論文 参考訳（メタデータ） (2020-06-05T19:54:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。