Fugu-MT 論文翻訳(概要): PTT5: Pretraining and validating the T5 model on Brazilian Portuguese data

論文の概要: PTT5: Pretraining and validating the T5 model on Brazilian Portuguese data

arxiv url: http://arxiv.org/abs/2008.09144v2
Date: Thu, 8 Oct 2020 18:37:54 GMT
ステータス: 処理完了
システム内更新日: 2022-10-27 03:30:55.380886
Title: PTT5: Pretraining and validating the T5 model on Brazilian Portuguese data
Title（参考訳）: PTT5:ブラジルのポルトガル語データに基づくT5モデルの事前学習と検証
Authors: Diedre Carmo, Marcos Piau, Israel Campiotti, Rodrigo Nogueira, Roberto Lotufo
Abstract要約: ポルトガルのWebページの大規模なコレクションであるBrWac corpus上で、T5モデルを事前訓練する。ポルトガルの事前訓練モデルでは、オリジナルのT5モデルよりも大幅に性能が向上していることを示す。
参考スコア（独自算出の注目度）: 4.579262239784748
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In natural language processing (NLP), there is a need for more resources in Portuguese, since much of the data used in the state-of-the-art research is in other languages. In this paper, we pretrain a T5 model on the BrWac corpus, an extensive collection of web pages in Portuguese, and evaluate its performance against other Portuguese pretrained models and multilingual models on three different tasks. We show that our Portuguese pretrained models have significantly better performance over the original T5 models. Moreover, we demonstrate the positive impact of using a Portuguese vocabulary. Our code and models are available at https://github.com/unicamp-dl/PTT5.
Abstract（参考訳）: 自然言語処理(NLP)では、最先端の研究で使われているデータが他の言語で使われているため、ポルトガル語でより多くのリソースが必要である。本稿では,ポルトガルのWebページコレクションであるBrWac corpus上のT5モデルを事前学習し,ポルトガルの他の事前学習モデルや3つの異なるタスクにおける多言語モデルに対する性能評価を行う。ポルトガルの事前訓練モデルでは、オリジナルのT5モデルよりも大幅に性能が向上していることを示す。さらに,ポルトガル語語彙の使用による肯定的な影響を示す。私たちのコードとモデルはhttps://github.com/unicamp-dl/ptt5で利用可能です。

関連論文リスト

From Brazilian Portuguese to European Portuguese [2.048226951354646]
ブラジル・ポルトガル語とヨーロッパ・ポルトガル語は同じ言語の2つの変種である。 2つの変種間での資源の入手にはかなりの不均衡がある。この不平等は、ヨーロッパのポルトガル語話者が利用できる翻訳サービスの質に影響を与える可能性がある。
論文参考訳（メタデータ） (2024-08-14T10:58:48Z)
ptt5-v2: A Closer Look at Continued Pretraining of T5 Models for the Portuguese Language [10.39816548971042]
この作業は、$texttptt5-v2$を導入し、ポルトガル向けのT5モデルの継続的な事前トレーニングを調査した。ポルトガルの下流3つのタスクの微調整は、後者の2つにSOTAの結果をもたらす。おそらく意外なことに、その影響はベースラインと比べて微妙だ。
論文参考訳（メタデータ） (2024-06-16T05:17:56Z)
PORTULAN ExtraGLUE Datasets and Models: Kick-starting a Benchmark for the Neural Processing of Portuguese [1.2779732438508473]
我々は、一連の言語処理タスクのためのデータセットのコレクションと、これらの下流タスクに関する微調整されたニューラルネットワークモデルのコレクションにコントリビュートする。もともと英語で開発された文献の主流ベンチマークと合わせると、データセットは英語から機械翻訳され、最先端の翻訳エンジンが組み込まれていた。その結果得られた PortULAN ExtraGLUE ベンチマークは、今後の研究で改善が追求されるポルトガルの研究の基盤となっている。
論文参考訳（メタデータ） (2024-04-08T09:22:41Z)
Multilingual E5 Text Embeddings: A Technical Report [63.503320030117145]
異なるサイズの3つの埋め込みモデルを提供し、推論効率と埋め込み品質のバランスを提供する。そこで我々は,新しい命令調整型埋め込みモデルを導入し,その性能は類似サイズの最先端の英語のみのモデルと同等である。
論文参考訳（メタデータ） (2024-02-08T13:47:50Z)
Crosslingual Generalization through Multitask Finetuning [80.8822603322471]
マルチタスク誘導ファインタニング(MTF)は、大きな言語モデルがゼロショット設定で新しいタスクに一般化するのに役立つことが示されている。 MTFを事前訓練された多言語BLOOMおよびmT5モデルファミリーに適用し、BLOOMZおよびmT0と呼ばれる微調整された変種を生成する。英語のプロンプトを用いた英語タスクにおける多言語多言語モデルの微調整により、非英語言語へのタスク一般化が可能となる。
論文参考訳（メタデータ） (2022-11-03T13:19:32Z)
Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。 KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
論文参考訳（メタデータ） (2022-05-18T09:17:14Z)
Language Models are Few-shot Multilingual Learners [66.11011385895195]
我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
論文参考訳（メタデータ） (2021-09-16T03:08:22Z)
Transformers and Transfer Learning for Improving Portuguese Semantic Role Labeling [2.9005223064604078]
低リソース言語、特にポルトガル語の場合、現在利用可能なSRLモデルは、トレーニングデータの不足によって妨げられます。トレーニング済みのBERTモデル,線形層,ソフトマックス,ビタビ復号のみを用いたモデルアーキテクチャについて検討する。
論文参考訳（メタデータ） (2021-01-04T19:56:01Z)
mT5: A massively multilingual pre-trained text-to-text transformer [60.0210636815514]
The Text-to-Text Transfer Transformer (T5) は、統一されたテキスト・トゥ・テキストフォーマットとスケールを利用して、英語のNLPタスクで最先端の結果を得る。 101言語をカバーする新しいCommon Crawlベースのデータセットで事前トレーニングを行ったマルチ言語版T5であるmT5を紹介する。
論文参考訳（メタデータ） (2020-10-22T17:58:14Z)
Lite Training Strategies for Portuguese-English and English-Portuguese Translation [67.4894325619275]
ポルトガル語・英語・ポルトガル語の翻訳タスクにおいて,T5などの事前学習モデルの使用について検討する。本稿では,ポルトガル語の文字,例えばダイアレーシス,急性アクセント,墓のアクセントを表すために,英語のトークン化器の適応を提案する。以上の結果から,本モデルは最新モデルと競合する性能を示しながら,控えめなハードウェアでトレーニングを行った。
論文参考訳（メタデータ） (2020-08-20T04:31:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。