Fugu-MT 論文翻訳(概要): BERTweet: A pre-trained language model for English Tweets

論文の概要: BERTweet: A pre-trained language model for English Tweets

arxiv url: http://arxiv.org/abs/2005.10200v2
Date: Mon, 5 Oct 2020 10:00:24 GMT
ステータス: 処理完了
システム内更新日: 2022-12-01 04:38:42.213172
Title: BERTweet: A pre-trained language model for English Tweets
Title（参考訳）: BERTweet: 英語ツイートのための事前訓練された言語モデル
Authors: Dat Quoc Nguyen, Thanh Vu and Anh Tuan Nguyen
Abstract要約: BERTweetは、英語のつぶやきのための、最初の大規模事前訓練型言語モデルである。 BERTweetはRoBERTa事前トレーニング手順を使ってトレーニングされる。我々は、今後のつぶやきデータの研究と応用を容易にするために、MITライセンス下でBERTweetをリリースします。
参考スコア（独自算出の注目度）: 14.575661723724005
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present BERTweet, the first public large-scale pre-trained language model for English Tweets. Our BERTweet, having the same architecture as BERT-base (Devlin et al., 2019), is trained using the RoBERTa pre-training procedure (Liu et al., 2019). Experiments show that BERTweet outperforms strong baselines RoBERTa-base and XLM-R-base (Conneau et al., 2020), producing better performance results than the previous state-of-the-art models on three Tweet NLP tasks: Part-of-speech tagging, Named-entity recognition and text classification. We release BERTweet under the MIT License to facilitate future research and applications on Tweet data. Our BERTweet is available at https://github.com/VinAIResearch/BERTweet
Abstract（参考訳）: BERTweetは、英語のつぶやきのための、最初の大規模事前訓練型言語モデルである。 BERTweetはBERTベース(Devlin et al., 2019)と同じアーキテクチャで、RoBERTa事前トレーニング手順(Liu et al., 2019)を使ってトレーニングされています。実験の結果、BERTweetはRoBERTa-baseとXLM-R-base(Conneau et al., 2020)の強力なベースラインよりも優れており、3つのつぶやきNLPタスクにおける従来の最先端モデルよりも優れたパフォーマンスを実現している。我々は、今後のつぶやきデータの研究と応用を容易にするために、MITライセンス下でBERTweetをリリースします。私たちのBERTweetはhttps://github.com/VinAIResearch/BERTweetで利用可能です。

関連論文リスト

RoBERTweet: A BERT Language Model for Romanian Tweets [0.15293427903448023]
この記事ではルーマニアのツイートでトレーニングされた最初のTransformerアーキテクチャであるRoBERTweetを紹介します。モデルの事前訓練に使用されるコーパスは、ルーマニアのNLPコミュニティの斬新さを表している。実験の結果,RoBERTweet は3つの NLP タスクにおいて,これまでの汎用言語モデルと多言語言語モデルより優れていることがわかった。
論文参考訳（メタデータ） (2023-06-11T06:11:56Z)
NarrowBERT: Accelerating Masked Language Model Pretraining and Inference [50.59811343945605]
そこで我々はNarrowBERTを提案する。NarrowBERTは改良されたトランスフォーマーエンコーダで、マスク付き言語モデルのプリトレーニングのスループットを2ドル以上の値で向上させる。 NarrowBERTは、自己アテンションクエリとフィードフォワード層が事前トレーニング中に各文のマスク付きトークンでのみ動作するように、トランスフォーマーモデルをスペーサー化する。 NarrowBERTは、MNLIのような文符号化タスクにおいて、最小(またはノー)のパフォーマンス劣化を伴って、$3.5times$で推論時にスループットを向上することを示す。
論文参考訳（メタデータ） (2023-01-11T23:45:50Z)
L3Cube-MahaSBERT and HindSBERT: Sentence BERT Models and Benchmarking BERT Sentence Representations for Hindi and Marathi [0.7874708385247353]
この研究は、ヒンディー語とマラティ語という2つの低リソースのインドの言語に焦点を当てている。機械翻訳を用いた合成NLIとSTSデータセットを用いて,これらの言語のための文-BERTモデルを訓練する。我々は,NLI事前学習とSTSbファインチューニングの戦略が,ヒンディー語とマラタイ語の文類似性モデルの生成に有効であることを示す。
論文参考訳（メタデータ） (2022-11-21T05:15:48Z)
Speech-to-Speech Translation For A Real-world Unwritten Language [62.414304258701804]
本研究では、ある言語から別の言語に音声を翻訳する音声音声翻訳(S2ST)について研究する。我々は、トレーニングデータ収集、モデル選択、ベンチマークデータセットのリリースからエンドツーエンドのソリューションを提示します。
論文参考訳（メタデータ） (2022-11-11T20:21:38Z)
bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
論文参考訳（メタデータ） (2021-10-14T04:05:25Z)
DistilHuBERT: Speech Representation Learning by Layer-wise Distillation of Hidden-unit BERT [69.26447267827454]
wav2vec 2.0 や Hidden-unit BERT (HuBERT) のような自己教師付き音声表現学習手法では、事前学習にラベル付き音声データを利用する。本稿では,HuBERTモデルから直接隠れ表現を抽出する新しいマルチタスク学習フレームワークであるDistilHuBERTを紹介する。
論文参考訳（メタデータ） (2021-10-05T09:34:44Z)
IndoBERTweet: A Pretrained Language Model for Indonesian Twitter with Effective Domain-Specific Vocabulary Initialization [33.46519116869276]
IndoBERTweetはインドネシアのTwitterにとって初めての大規模な事前訓練モデルだ。新たな単語タイプに対してBERT埋め込み層を初期化する方法をベンチマークする。平均BERTサブワード埋め込みの初期化は事前学習を5倍速くすることがわかった。
論文参考訳（メタデータ） (2021-09-10T01:27:51Z)
Pre-Training BERT on Arabic Tweets: Practical Considerations [11.087099497830552]
トレーニングセットのサイズ、形式と非公式のアラビア語の混合、言語前処理の5つのBERTモデルを事前訓練した。すべてアラビア方言とソーシャルメディアをサポートすることを意図している。新しいモデルは、いくつかの下流タスクで最新の結果を達成します。
論文参考訳（メタデータ） (2021-02-21T20:51:33Z)
Syntax-Enhanced Pre-trained Model [49.1659635460369]
BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
論文参考訳（メタデータ） (2020-12-28T06:48:04Z)
DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference [69.93692147242284]
BERTのような大規模事前訓練型言語モデルは、NLPアプリケーションに大幅な改善をもたらした。本稿では, BERT推論を高速化するために, 単純だが効果的な手法であるDeeBERTを提案する。実験の結果、DeeBERTはモデル品質の低下を最小限に抑えながら、最大40%の推論時間を節約できることがわかった。
論文参考訳（メタデータ） (2020-04-27T17:58:05Z)
RobBERT: a Dutch RoBERTa-based Language Model [9.797319790710711]
我々はRoBERTaを使ってRobBERTと呼ばれるオランダ語のモデルをトレーニングします。各種タスクにおけるその性能および微調整データセットサイズの重要性を計測する。 RobBERTは様々なタスクの最先端の結果を改善し、特に小さなデータセットを扱う場合、他のモデルよりもはるかに優れています。
論文参考訳（メタデータ） (2020-01-17T13:25:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。