論文の概要: TweetBERT: A Pretrained Language Representation Model for Twitter Text Analysis

• arxiv url: http://arxiv.org/abs/2010.11091v1
• Date: Sat, 17 Oct 2020 00:45:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 11:46:21.276090
• Title: TweetBERT: A Pretrained Language Representation Model for Twitter Text Analysis
• Title（参考訳）: TweetBERT:Twitterテキスト分析のための事前訓練された言語表現モデル
• Authors: Mohiuddin Md Abdul Qudar, Vijay Mago
• Abstract要約: 我々は、何百万ものツイートで事前訓練されたドメイン固有言語プレゼンテーションモデルである2つのTweetBERTモデルを紹介した。 TweetBERTモデルは、Twitterのテキストマイニングタスクにおける従来のBERTモデルよりも、各Twitterデータセットで7%以上優れています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Twitter is a well-known microblogging social site where users express their views and opinions in real-time. As a result, tweets tend to contain valuable information. With the advancements of deep learning in the domain of natural language processing, extracting meaningful information from tweets has become a growing interest among natural language researchers. Applying existing language representation models to extract information from Twitter does not often produce good results. Moreover, there is no existing language representation models for text analysis specific to the social media domain. Hence, in this article, we introduce two TweetBERT models, which are domain specific language presentation models, pre-trained on millions of tweets. We show that the TweetBERT models significantly outperform the traditional BERT models in Twitter text mining tasks by more than 7% on each Twitter dataset. We also provide an extensive analysis by evaluating seven BERT models on 31 different datasets. Our results validate our hypothesis that continuously training language models on twitter corpus help performance with Twitter.
• Abstract（参考訳）: Twitterは、ユーザーが自分の見解や意見をリアルタイムで表現する、よく知られたマイクロブログソーシャルサイトだ。 その結果、ツイートには貴重な情報が含まれる傾向にある。 自然言語処理分野におけるディープラーニングの進歩により、ツイートから有意義な情報を抽出することは、自然言語研究者の間で関心が高まっている。 twitterから情報を抽出するために既存の言語表現モデルを適用すると、良い結果が得られないことが多い。 さらに、ソーシャルメディアドメイン特有のテキスト分析のための既存の言語表現モデルは存在しない。 そこで本稿では,何百万ものツイートで事前学習したドメイン固有言語プレゼンテーションモデルであるTweetBERTモデルを2つ紹介する。 TweetBERTモデルは、Twitterのテキストマイニングタスクにおける従来のBERTモデルよりも、各Twitterデータセットで7%以上優れています。 また、31の異なるデータセット上で7つのBERTモデルを評価することで、広範な分析を行う。 本研究は,twitterコーパスにおける言語モデルの連続学習がtwitterの性能向上に役立つという仮説を検証した。

関連論文リスト

• RoBERTweet: A BERT Language Model for Romanian Tweets [0.15293427903448023]
  この記事ではルーマニアのツイートでトレーニングされた最初のTransformerアーキテクチャであるRoBERTweetを紹介します。 モデルの事前訓練に使用されるコーパスは、ルーマニアのNLPコミュニティの斬新さを表している。 実験の結果,RoBERTweet は3つの NLP タスクにおいて,これまでの汎用言語モデルと多言語言語モデルより優れていることがわかった。
  論文  参考訳（メタデータ） (2023-06-11T06:11:56Z)
• TwHIN-BERT: A Socially-Enriched Pre-trained Language Model for Multilingual Tweet Representations at Twitter [31.698196219228024]
  TwHIN-BERTはTwitterで制作された多言語言語モデルである。 私たちのモデルは、100以上の異なる言語をカバーする70億のツイートで訓練されています。 我々は,多言語ソーシャルレコメンデーションと意味理解タスクにおけるモデルの評価を行った。
  論文  参考訳（メタデータ） (2022-09-15T19:01:21Z)
• ViralBERT: A User Focused BERT-Based Approach to Virality Prediction [11.992815669875924]
  本稿では、コンテンツとユーザベースの機能を用いて、ツイートのバイラル性を予測できるViralBERTを提案する。 ハッシュタグやフォロワー数などの数値的特徴を合成してテキストをツイートし、2つのBERTモジュールを利用する手法を用いる。 ViralBERTをトレーニングするために330kのツイートのデータセットを収集し、この分野での現在の研究からベースラインを使用して、モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2022-05-17T21:40:24Z)
• BERTuit: Understanding Spanish language in Twitter through a native transformer [70.77033762320572]
  bfBERTuitは、これまでスペイン語のために提案された大きなトランスフォーマーで、2億3000万のスペイン語ツイートの膨大なデータセットで事前トレーニングされている。 私たちのモチベーションは、スペイン語のTwitterをよりよく理解し、このソーシャルネットワークにフォーカスしたアプリケーションに利用するための強力なリソースを提供することです。
  論文  参考訳（メタデータ） (2022-04-07T14:28:51Z)
• Exploiting BERT For Multimodal Target SentimentClassification Through Input Space Translation [75.82110684355979]
  オブジェクト認識変換器を用いて入力空間内の画像を変換する2ストリームモデルを提案する。 次に、翻訳を利用して、言語モデルに多モーダル情報を提供する補助文を構築する。 2つのマルチモーダルTwitterデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-08-03T18:02:38Z)
• Sentiment analysis in tweets: an assessment study from classical to modern text representation models [59.107260266206445]
  Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。 非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。 本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
  論文  参考訳（メタデータ） (2021-05-29T21:05:28Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Improving Sentiment Analysis over non-English Tweets using Multilingual Transformers and Automatic Translation for Data-Augmentation [77.69102711230248]
  我々は、英語のつぶやきを事前学習し、自動翻訳を用いてデータ拡張を適用して非英語の言語に適応する多言語トランスフォーマーモデルを提案する。 我々のフランス語、スペイン語、ドイツ語、イタリア語での実験は、この手法が非英語のツイートの小さなコーパスよりも、トランスフォーマーの結果を改善する効果的な方法であることを示唆している。
  論文  参考訳（メタデータ） (2020-10-07T15:44:55Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)
• Sentiment Analysis on Social Media Content [0.0]
  本研究の目的は,Twitterから収集した実データの感情分析を行うモデルを提案することである。 Twitterのデータは非常に非構造化されており、分析が困難である。 提案手法は,教師付き機械学習アルゴリズムと教師なし機械学習アルゴリズムの併用により,この分野の先行研究とは異なる。
  論文  参考訳（メタデータ） (2020-07-04T17:03:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。