Fugu-MT 論文翻訳(概要): BERTweetFR : Domain Adaptation of Pre-Trained Language Models for French Tweets

論文の概要: BERTweetFR : Domain Adaptation of Pre-Trained Language Models for French Tweets

arxiv url: http://arxiv.org/abs/2109.10234v1
Date: Tue, 21 Sep 2021 15:00:41 GMT
ステータス: 処理完了
システム内更新日: 2021-09-22 14:23:05.744430
Title: BERTweetFR : Domain Adaptation of Pre-Trained Language Models for French Tweets
Title（参考訳）: BERTweetFR : フランス語ツイートのための事前学習言語モデルのドメイン適応
Authors: Yanzhu Guo, Virgile Rennard, Christos Xypolopoulos and Michalis Vazirgiannis
Abstract要約: BERTweetFRは、フランス語ツイートのための最初の大規模事前訓練言語モデルである。我々のモデルは、RoBERTaの基本アーキテクチャに従う汎用言語モデルCamemBERTを使用している。
参考スコア（独自算出の注目度）: 14.69916899062833
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We introduce BERTweetFR, the first large-scale pre-trained language model for French tweets. Our model is initialized using the general-domain French language model CamemBERT which follows the base architecture of RoBERTa. Experiments show that BERTweetFR outperforms all previous general-domain French language models on two downstream Twitter NLP tasks of offensiveness identification and named entity recognition. The dataset used in the offensiveness detection task is first created and annotated by our team, filling in the gap of such analytic datasets in French. We make our model publicly available in the transformers library with the aim of promoting future research in analytic tasks for French tweets.
Abstract（参考訳）: BERTweetFRは、フランス語ツイートのための最初の大規模事前訓練言語モデルである。我々のモデルは,RoBERTaの基本アーキテクチャに従う汎用言語モデルCamemBERTを用いて初期化される。 BERTweetFRは、攻撃性識別と名前付きエンティティ認識の2つのダウンストリームTwitter NLPタスクにおいて、以前の汎用言語モデルよりも優れていた。攻撃性検出タスクで使用されるデータセットは、まずチームによって作成され、アノテートされ、このような分析データセットのギャップを埋める。我々は,フランス語ツイートの分析タスクに関する今後の研究を促進すべく,transformersライブラリでモデルを公開する。

関連論文リスト

CroissantLLM: A Truly Bilingual French-English Language Model [42.03897426049679]
英語とフランス語のトークンセットを事前訓練した1.3B言語モデルであるCroissantLLMを紹介する。我々は、英語とフランス語の事前学習データ比率1:1で、本質的なバイリンガルモデルを訓練するアプローチを開拓した。英語以外のパフォーマンスを評価するため、新しいベンチマークである FrenchBench を作成します。
論文参考訳（メタデータ） (2024-02-01T17:17:55Z)
On the importance of Data Scale in Pretraining Arabic Language Models [46.431706010614334]
アラビア事前訓練言語モデル(PLM)におけるデータの役割に関する総合的研究を行う。我々は、大規模で高品質なアラビアコーパスを用いて、最先端のアラビアPLMの性能を再評価する。我々の分析は、データの事前学習がパフォーマンスの主要な要因であり、他の要因を超えていることを強く示唆している。
論文参考訳（メタデータ） (2024-01-15T15:11:15Z)
Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
論文参考訳（メタデータ） (2023-07-16T00:45:42Z)
Data-Efficient French Language Modeling with CamemBERTa [0.0]
本稿では,DeBERTaV3アーキテクチャとトレーニング目標に基づいて構築された,フランスのDeBERTaモデルであるCamemBERTaを紹介する。我々は、さまざまなフランス語の下流タスクとデータセットに対して、我々のモデルの性能を評価する。
論文参考訳（メタデータ） (2023-06-02T12:45:34Z)
RobBERT-2022: Updating a Dutch Language Model to Account for Evolving Language Use [9.797319790710711]
私たちは、2019年にトレーニングされた最先端のオランダ語モデルであるRobBERTを更新しました。まず、RobBERTのトークンライザが更新され、最新のオランダのOSCARコーパスに新しい頻繁なトークンが含まれている。新しいモデルがRobBERTのプラグイン代替であるかどうかを評価するために,既存のトークンのコンセプトドリフトと新しいトークンのアライメントに基づく2つの追加基準を導入する。
論文参考訳（メタデータ） (2022-11-15T14:55:53Z)
From FreEM to D'AlemBERT: a Large Corpus and a Language Model for Early Modern French [57.886210204774834]
我々は、近世フランス語(歴史的フランス語:16$textth$から18$textth$ century)のためのNLPツールを開発する取り組みを提示する。我々は、近世フランス語のtextFreEM_textmax$ corpusと、$textFreEM_textmax$でトレーニングされたRoBERTaベースの言語モデルであるD'AlemBERTを提示する。
論文参考訳（メタデータ） (2022-02-18T22:17:22Z)
TunBERT: Pretrained Contextualized Text Representation for Tunisian Dialect [0.0]
表現不足言語に対するモノリンガルトランスフォーマーに基づく言語モデルのトレーニングの実現可能性について検討する。構造化データの代わりにノイズの多いWebクローリングデータを使用することは、そのような非標準言語にとってより便利であることを示す。我々の最高のパフォーマンスTunBERTモデルは、下流の3つのタスクすべてにおいて最先端のタスクに到達または改善します。
論文参考訳（メタデータ） (2021-11-25T15:49:50Z)
PAGnol: An Extra-Large French Generative Model [53.40189314359048]
本稿では,フランスのGPTモデルのコレクションであるPAGnolを紹介する。スケーリング法則を用いて,CamemBERTと同じ計算予算でPAGnol-XLを効率的に訓練する。
論文参考訳（メタデータ） (2021-10-16T11:44:23Z)
Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文参考訳（メタデータ） (2020-10-24T11:55:28Z)
Improving Sentiment Analysis over non-English Tweets using Multilingual Transformers and Automatic Translation for Data-Augmentation [77.69102711230248]
我々は、英語のつぶやきを事前学習し、自動翻訳を用いてデータ拡張を適用して非英語の言語に適応する多言語トランスフォーマーモデルを提案する。我々のフランス語、スペイン語、ドイツ語、イタリア語での実験は、この手法が非英語のツイートの小さなコーパスよりも、トランスフォーマーの結果を改善する効果的な方法であることを示唆している。
論文参考訳（メタデータ） (2020-10-07T15:44:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。