論文の概要: BARThez: a Skilled Pretrained French Sequence-to-Sequence Model
- arxiv url: http://arxiv.org/abs/2010.12321v2
- Date: Tue, 9 Feb 2021 09:31:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 22:34:55.517888
- Title: BARThez: a Skilled Pretrained French Sequence-to-Sequence Model
- Title（参考訳）: BARThez: 熟練した事前訓練されたフランスのシーケンス・ツー・シーケンスモデル
- Authors: Moussa Kamal Eddine, Antoine J.-P. Tixier, Michalis Vazirgiannis
- Abstract要約: 本稿では,フランス初の大規模事前訓練セq2seqモデルであるBARThezを紹介する。
BARTをベースとしているBARThezは、生成タスクに特に適している。
我々は、BARThezが最先端のBERTベースのフランス語モデルと非常に競合することを示した。
- 参考スコア（独自算出の注目度）: 19.508391246171115
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inductive transfer learning has taken the entire NLP field by storm, with
models such as BERT and BART setting new state of the art on countless NLU
tasks. However, most of the available models and research have been conducted
for English. In this work, we introduce BARThez, the first large-scale
pretrained seq2seq model for French. Being based on BART, BARThez is
particularly well-suited for generative tasks. We evaluate BARThez on five
discriminative tasks from the FLUE benchmark and two generative tasks from a
novel summarization dataset, OrangeSum, that we created for this research. We
show BARThez to be very competitive with state-of-the-art BERT-based French
language models such as CamemBERT and FlauBERT. We also continue the
pretraining of a multilingual BART on BARThez' corpus, and show our resulting
model, mBARThez, to significantly boost BARThez' generative performance. Code,
data and models are publicly available.
- Abstract（参考訳）: インダクティブトランスファーラーニングは、BERTやBARTといったモデルが無数のNLUタスクに新たな状態を設定することによって、NLPフィールド全体を嵐によって取り除いた。
しかし、利用可能なモデルや研究のほとんどは英語で行われている。
本稿では,フランス初の大規模事前学習型seq2seqモデルであるbarthezを紹介する。
BARTをベースとしているBARThezは、生成タスクに特に適している。
FLUEベンチマークによる5つの識別タスクと,本研究のために作成した新しい要約データセットであるOrangeSumの2つの生成タスクについて,BARThezを評価した。
BARThezは、CamemBERTやFrauBERTといった最先端のBERTベースのフランス語モデルと非常に競合することを示す。
また,BARThez コーパス上での多言語 BART の事前訓練を継続し,得られたモデル mBARThez を示し,BARThez の生成性能を大幅に向上させる。
コード、データ、モデルは公開されている。
関連論文リスト
- VBART: The Turkish LLM [0.0]
VBARTはトルコで最初のシークエンス・ツー・シークエンス大型言語モデルであり、スクラッチから大きなコーパスで事前訓練されている。
微調整されたVBARTモデルは、抽象的なテキスト要約、タイトル生成、テキストパラフレーズ化、質問応答、質問生成タスクにおいて、従来の最先端結果を上回る。
論文 参考訳（メタデータ） (2024-03-02T20:40:11Z) - Data-Efficient French Language Modeling with CamemBERTa [0.0]
本稿では,DeBERTaV3アーキテクチャとトレーニング目標に基づいて構築された,フランスのDeBERTaモデルであるCamemBERTaを紹介する。
我々は、さまざまなフランス語の下流タスクとデータセットに対して、我々のモデルの性能を評価する。
論文 参考訳（メタデータ） (2023-06-02T12:45:34Z) - GreekBART: The First Pretrained Greek Sequence-to-Sequence Model [13.429669368275318]
我々は,BARTベースアーキテクチャをベースとした最初のSeq2SeqモデルであるA GreekBARTを紹介し,大規模なギリシャ語コーパスを事前訓練する。
我々は,BART-random, Greek-BERT, XLM-Rを様々な識別課題で評価し,比較した。
論文 参考訳（メタデータ） (2023-04-03T10:48:51Z) - Masked Autoencoders As The Unified Learners For Pre-Trained Sentence
Representation [77.47617360812023]
我々は、最近提案されたMAEスタイルの事前学習戦略であるRetroMAEを拡張し、幅広い文表現タスクをサポートする。
最初のステージでは、ベースモデルが学習されるWikipedia、BookCorpusなど、一般的なコーパス上でRetroMAEを実行する。
第2段階はドメイン固有のデータ、例えばMS MARCOやNLIで行われ、ベースモデルはRetroMAEとコントラスト学習に基づいて継続的に訓練される。
論文 参考訳（メタデータ） (2022-07-30T14:34:55Z) - Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。
KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。
本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
論文 参考訳（メタデータ） (2022-05-18T09:17:14Z) - AraBART: a Pretrained Arabic Sequence-to-Sequence Model for Abstractive
Summarization [23.540743628126837]
BARTに基づいてエンコーダとデコーダを事前訓練した最初のアラビアモデルであるAraBARTを提案する。
AraBARTは複数の抽象的な要約データセット上で最高の性能を発揮することを示す。
論文 参考訳（メタデータ） (2022-03-21T13:11:41Z) - DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with
Gradient-Disentangled Embedding Sharing [117.41016786835452]
本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。
ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。
そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
論文 参考訳（メタデータ） (2021-11-18T06:48:00Z) - PAGnol: An Extra-Large French Generative Model [53.40189314359048]
本稿では,フランスのGPTモデルのコレクションであるPAGnolを紹介する。
スケーリング法則を用いて,CamemBERTと同じ計算予算でPAGnol-XLを効率的に訓練する。
論文 参考訳（メタデータ） (2021-10-16T11:44:23Z) - GottBERT: a pure German Language Model [0.0]
ドイツ語の単一言語RoBERTaモデルはまだ公開されておらず、本書で紹介する(GottBERT)。
評価では、名前付きエンティティ認識(NER)タスクのConll 2003 と GermEval 2014 と、GermEval 2018 (微細で粗い) と GNAD のテキスト分類タスクと、既存のドイツの単一言語 BERT モデルと2つの多言語タスクのパフォーマンスを比較した。
GottBERTはRoBERTa BASEアーキテクチャを使って256コアのTPUポッドで事前訓練に成功した。
論文 参考訳（メタデータ） (2020-12-03T17:45:03Z) - Revisiting Pre-Trained Models for Chinese Natural Language Processing [73.65780892128389]
我々は、中国語の事前学習言語モデルを再検討し、英語以外の言語での有効性について検討する。
また,RoBERTaを改良したMacBERTモデルを提案する。
論文 参考訳（メタデータ） (2020-04-29T02:08:30Z) - Multilingual Denoising Pre-training for Neural Machine Translation [132.66750663226287]
mBART(mBART)は、大規模モノリンガルコーパスで事前訓練されたシーケンスからシーケンスまでの自動エンコーダである。
mBARTは、完全なシーケンス・ツー・シーケンスモデルを事前訓練する最初の方法の1つである。
論文 参考訳（メタデータ） (2020-01-22T18:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。