論文の概要: COVID-Twitter-BERT: A Natural Language Processing Model to Analyse COVID-19 Content on Twitter

• arxiv url: http://arxiv.org/abs/2005.07503v1
• Date: Fri, 15 May 2020 12:40:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 22:44:27.583344
• Title: COVID-Twitter-BERT: A Natural Language Processing Model to Analyse COVID-19 Content on Twitter
• Title（参考訳）: COVID-Twitter-BERT:Twitter上のCOVID-19コンテンツを分析する自然言語処理モデル
• Authors: Martin M\"uller, Marcel Salath\'e, Per E Kummervold
• Abstract要約: 私たちは、COVID-19のトピックに関する大量のTwitterメッセージのコーパスで事前トレーニングされた、トランスフォーマーベースのモデルであるCOVID-Twitter-BERT(CT-BERT)をリリースします。 本モデルでは,5つの分類データセットにおいて,ベースモデルであるBERT-Largeと比較して10～30%の限界改善を示した。 CT-BERTは、新型コロナウイルスのコンテンツ、特にTwitterのソーシャルメディア投稿に使用されるように最適化されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we release COVID-Twitter-BERT (CT-BERT), a transformer-based model, pretrained on a large corpus of Twitter messages on the topic of COVID-19. Our model shows a 10-30% marginal improvement compared to its base model, BERT-Large, on five different classification datasets. The largest improvements are on the target domain. Pretrained transformer models, such as CT-BERT, are trained on a specific target domain and can be used for a wide variety of natural language processing tasks, including classification, question-answering and chatbots. CT-BERT is optimised to be used on COVID-19 content, in particular social media posts from Twitter.
• Abstract（参考訳）: 本研究では、COVID-19のトピックに関するTwitterメッセージの大規模なコーパスを事前トレーニングしたトランスフォーマーベースのモデルである、COVID-Twitter-BERT(CT-BERT)をリリースする。 本モデルでは,5つの分類データセットにおいて,ベースモデルであるBERT-Largeと比較して10～30%の限界改善を示した。 最大の改善点は、ターゲットドメインにある。 CT-BERTのような事前訓練されたトランスフォーマーモデルは、特定のターゲットドメインでトレーニングされており、分類、質問応答、チャットボットなど、さまざまな自然言語処理タスクに使用できる。 CT-BERTは、新型コロナウイルスのコンテンツ、特にTwitterのソーシャルメディア投稿に使用されるように最適化されている。

関連論文リスト

• A Text-to-Text Model for Multilingual Offensive Language Identification [19.23565690468299]
  本研究では,テキスト・トゥ・テキスト・トランスフォーマを用いた攻撃的言語識別のためのエンコーダ・デコーダアーキテクチャを用いた最初の事前学習モデルを提案する(T5)。 我々の事前学習されたT5モデルは、複数の英語ベンチマークにおいて、fBERTやHateBERTのような攻撃的言語検出のために微調整された他のトランスフォーマーベースモデルよりも優れている。 同様のアプローチで、mT5を用いて攻撃的言語識別のための最初の多言語事前訓練モデルを訓練する。
  論文  参考訳（メタデータ） (2023-12-06T09:37:27Z)
• Quantized Transformer Language Model Implementations on Edge Devices [1.2979415757860164]
  Bidirectional Representations from Transformers (BERT) のような大規模なトランスフォーマーベースモデルは自然言語処理(NLP)アプリケーションに広く利用されている。 これらのモデルは最初、数百万のパラメータを持つ大きなコーパスで事前訓練され、下流のNLPタスクのために微調整される。 これらの大規模モデルの大きな制限の1つは、大きなモデルサイズと推論遅延の増加のため、リソース制限されたデバイスにデプロイできないことである。
  論文  参考訳（メタデータ） (2023-10-06T01:59:19Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• InternImage: Exploring Large-Scale Vision Foundation Models with Deformable Convolutions [95.94629864981091]
  この研究は、パラメータの増加やViTsのようなトレーニングデータから得られるインターンイメージと呼ばれる、CNNベースの新しい大規模ファンデーションモデルを提案する。 提案されたInternImageは、従来のCNNの厳格な帰納バイアスを低減し、ViTのような大規模データから、より強く堅牢なパターンを学習できるようにする。
  論文  参考訳（メタデータ） (2022-11-10T18:59:04Z)
• Adaptation of domain-specific transformer models with text oversampling for sentiment analysis of social media posts on Covid-19 vaccines [8.115075181267105]
  コビッドウイルスは世界中に広がり、その急増に対応するためにいくつかのワクチンが開発されている。 ソーシャルメディア投稿からワクチンに関連する正しい感情を特定するために、Covid-19ワクチンに関連するツイートに対して、さまざまな最先端の事前訓練されたトランスフォーマーモデルを微調整する。
  論文  参考訳（メタデータ） (2022-09-22T12:36:40Z)
• 5q032e@SMM4H'22: Transformer-based classification of premise in tweets related to COVID-19 [2.3931689873603603]
  本研究では,Twitterテキストにおける前提の存在を分類するために,トランスフォーマーアーキテクチャに基づく予測モデルを提案する。 Twitterデータセットを用いた実験の結果,RoBERTaは前提予測タスクの場合,他のトランスフォーマーモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-09-08T14:46:28Z)
• What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization? [50.84738303888189]
  本稿では,モデル選択の大規模評価とそのゼロショット一般化への影響について述べる。 私たちは、70億以上のトークンに対して、50億以上のパラメータを持つモデルをトレーニングします。 事前学習した因果デコーダモデルを非因果デコーダモデルに効率的に適用できることが判明した。
  論文  参考訳（メタデータ） (2022-04-12T14:19:49Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)
• Sentiment analysis in tweets: an assessment study from classical to modern text representation models [59.107260266206445]
  Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。 非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。 本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
  論文  参考訳（メタデータ） (2021-05-29T21:05:28Z)
• COVID-19 Tweets Analysis through Transformer Language Models [0.0]
  本研究では、COVID-19におけるツイートの詳細な感情分析を行う。 訓練されたトランスフォーマーモデルは、ツイートのトーンを高精度で正確に予測することができる。 次にこのモデルを利用して、covid-19の20万ツイートのトーンを予測する。
  論文  参考訳（メタデータ） (2021-02-27T12:06:33Z)
• TERA: Self-Supervised Learning of Transformer Encoder Representation for Speech [63.03318307254081]
  TERA は Transformer Representations from Alteration の略である。 我々は3つの軸に沿った変形を用いて、大量のラベルなし音声でトランスフォーマーを事前訓練する。 TERAは、音声表現の抽出や下流モデルによる微調整に使用することができる。
  論文  参考訳（メタデータ） (2020-07-12T16:19:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。