論文の概要: Adaptation of domain-specific transformer models with text oversampling for sentiment analysis of social media posts on Covid-19 vaccines

• arxiv url: http://arxiv.org/abs/2209.10966v1
• Date: Thu, 22 Sep 2022 12:36:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 13:14:58.383755
• Title: Adaptation of domain-specific transformer models with text oversampling for sentiment analysis of social media posts on Covid-19 vaccines
• Title（参考訳）: Covid-19ワクチンを用いたソーシャルメディア投稿の感情分析のためのテキストオーバーサンプリングによるドメイン固有トランスフォーマーモデルの適応
• Authors: Anmol Bansal, Arjun Choudhry, Anubhav Sharma, Seba Susan
• Abstract要約: コビッドウイルスは世界中に広がり、その急増に対応するためにいくつかのワクチンが開発されている。 ソーシャルメディア投稿からワクチンに関連する正しい感情を特定するために、Covid-19ワクチンに関連するツイートに対して、さまざまな最先端の事前訓練されたトランスフォーマーモデルを微調整する。
• 参考スコア（独自算出の注目度）: 8.115075181267105
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Covid-19 has spread across the world and several vaccines have been developed to counter its surge. To identify the correct sentiments associated with the vaccines from social media posts, we fine-tune various state-of-the-art pre-trained transformer models on tweets associated with Covid-19 vaccines. Specifically, we use the recently introduced state-of-the-art pre-trained transformer models RoBERTa, XLNet and BERT, and the domain-specific transformer models CT-BERT and BERTweet that are pre-trained on Covid-19 tweets. We further explore the option of text augmentation by oversampling using Language Model based Oversampling Technique (LMOTE) to improve the accuracies of these models, specifically, for small sample datasets where there is an imbalanced class distribution among the positive, negative and neutral sentiment classes. Our results summarize our findings on the suitability of text oversampling for imbalanced small sample datasets that are used to fine-tune state-of-the-art pre-trained transformer models, and the utility of domain-specific transformer models for the classification task.
• Abstract（参考訳）: コビッドウイルスは世界中に広がり、その急増に対応するためにいくつかのワクチンが開発されている。 ソーシャルメディア投稿からワクチンに関連する正しい感情を特定するために、Covid-19ワクチンに関連するツイートに対して、さまざまな最先端の事前訓練されたトランスフォーマーモデルを微調整する。 具体的には、最近導入された最先端の事前訓練型トランスフォーマーモデルRoBERTa、XLNet、BERTと、Covid-19のツイートで事前トレーニングされたドメイン固有トランスフォーマーモデルCT-BERT、BERTweetを使用する。 特に,肯定的,否定的,中立的な感情クラス間でのクラス分散が不均衡である小さなサンプルデータセットについて,言語モデルに基づくオーバーサンプリング技術(lmote)を用いたオーバーサンプリングによるテキスト拡張の選択肢について検討する。 本研究は,事前学習されたトランスフォーマーモデルの微調整に使用される不均衡な小標本データセットに対するテキストオーバーサンプリングの適合性,および分類タスクにおけるドメイン固有トランスフォーマーモデルの有用性について概説する。

関連論文リスト

• RAT: Retrieval-Augmented Transformer for Click-Through Rate Prediction [68.34355552090103]
  本稿では, 試料内および試料間における微細な特徴相互作用の獲得を目的とした検索-拡張変換器(RAT)を開発した。 次に、トランスフォーマー層をカスケードされた注意で構築し、イントラサンプルとクロスサンプルの両方の機能インタラクションをキャプチャします。 実世界のデータセットの実験は、RATの有効性を裏付け、ロングテールシナリオにおいてその利点を示唆している。
  論文  参考訳（メタデータ） (2024-04-02T19:14:23Z)
• Diverse Data Augmentation with Diffusions for Effective Test-time Prompt Tuning [73.75282761503581]
  DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。 DiffTPTがゼロショット精度を平均5.13%向上することを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:36:31Z)
• MisRoB{\AE}RTa: Transformers versus Misinformation [0.6091702876917281]
  本稿では,誤情報検出のためのトランスフォーマーに基づくニューラルアンサンブルアーキテクチャを提案する。 MisRobaerTaは、分類性能を改善するために、2つのトランスフォーマー(BARTとRoBERTa)を利用する。 トレーニングとテストのために、私たちは10のクラスでラベル付けされた大規模な現実世界のニュース記事データセットを使用しました。
  論文  参考訳（メタデータ） (2023-04-16T12:14:38Z)
• Transformer-based approaches to Sentiment Detection [55.41644538483948]
  テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
  論文  参考訳（メタデータ） (2023-03-13T17:12:03Z)
• Dense Feature Memory Augmented Transformers for COVID-19 Vaccination Search Classification [60.49594822215981]
  本稿では,新型コロナウイルスワクチン関連検索クエリの分類モデルを提案する。 本稿では,モデルが対応可能なメモリトークンとして,高密度特徴を考慮した新しい手法を提案する。 この新しいモデリング手法により,Vaccine Search Insights (VSI) タスクを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-12-16T13:57:41Z)
• 5q032e@SMM4H'22: Transformer-based classification of premise in tweets related to COVID-19 [2.3931689873603603]
  本研究では,Twitterテキストにおける前提の存在を分類するために,トランスフォーマーアーキテクチャに基づく予測モデルを提案する。 Twitterデータセットを用いた実験の結果,RoBERTaは前提予測タスクの場合,他のトランスフォーマーモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-09-08T14:46:28Z)
• Forecasting COVID-19 Caseloads Using Unsupervised Embedding Clusters of Social Media Posts [14.201816626446885]
  本稿では,トランスフォーマーをベースとした言語モデルを感染症モデルに組み込んだ新しいアプローチを提案する。 他の高品質データセットから抽出した特徴に対して,これらのクラスタ化埋め込み機能をベンチマークする。 しきい値分類タスクでは、上向きトレンド信号の予測において、他の全ての特徴種よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-20T18:59:04Z)
• MiDAS: Multi-integrated Domain Adaptive Supervision for Fake News Detection [3.210653757360955]
  偽ニュース検出のためのマルチドメイン適応手法であるMiDASを提案する。 MiDASは既存のモデルと新しいサンプルの関連性をランク付けしている。 9つの偽ニュースデータセットを用いたドリフトデータへの一般化に関するMIDASの評価を行った。
  論文  参考訳（メタデータ） (2022-05-19T19:36:08Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• Pre-trained Summarization Distillation [121.14806854092672]
  近年の分類・回帰作業におけるBERT蒸留の研究は, 直接的知識蒸留による高い性能を示している。 あるいは、機械翻訳の実践者は擬似ラベルを用いて蒸留し、小さなモデルをより大きなモデルの翻訳に基づいて訓練する。 第三に、より単純なアプローチは'shrink and fine-tune' (SFT) であり、より小さな学生モデルにパラメータをコピーして微調整することで、明示的な蒸留を避ける。
  論文  参考訳（メタデータ） (2020-10-24T23:15:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。