論文の概要: ptt5-v2: A Closer Look at Continued Pretraining of T5 Models for the Portuguese Language

• arxiv url: http://arxiv.org/abs/2406.10806v2
• Date: Mon, 18 Nov 2024 02:19:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:31:18.264956
• Title: ptt5-v2: A Closer Look at Continued Pretraining of T5 Models for the Portuguese Language
• Title（参考訳）: ptt5-v2: ポルトガル語のT5モデルの継続事前トレーニング
• Authors: Marcos Piau, Roberto Lotufo, Rodrigo Nogueira,
• Abstract要約: この作業は、$textttptt5-v2$を導入し、ポルトガル向けのT5モデルの継続的な事前トレーニングを調査した。 ポルトガルの下流3つのタスクの微調整は、後者の2つにSOTAの結果をもたらす。 おそらく意外なことに、その影響はベースラインと比べて微妙だ。
• 参考スコア（独自算出の注目度）: 10.39816548971042
• License:
• Abstract: Despite advancements in Natural Language Processing (NLP) and the growing availability of pretrained models, the English language remains the primary focus of model development. Continued pretraining on language-specific corpora provides a practical solution for adapting models to other languages. However, the impact of different pretraining settings on downstream tasks remains underexplored. This work introduces $\texttt{ptt5-v2}$, investigating the continued pretraining of T5 models for Portuguese. We first develop a baseline set of settings and pretrain models with sizes up to 3B parameters. Finetuning on three Portuguese downstream tasks (assin2 STS, assin2 RTE, and TweetSentBR) yields SOTA results on the latter two. We then explore the effects of different pretraining configurations, including pretraining data quality, optimization strategies, and multi-epoch pretraining. Perhaps surprisingly, their impact remains subtle compared to our baseline. We release $\texttt{ptt5-v2}$ pretrained checkpoints and their MonoT5-based finetuned $\texttt{MonoPTT5}$ rerankers on HuggingFace in their respective collections at \url{https://huggingface.co/unicamp-dl}.
• Abstract（参考訳）: 自然言語処理(NLP)の進歩と事前訓練されたモデルの増加にもかかわらず、英語はモデル開発の主要な焦点である。 言語固有のコーパスに対する事前トレーニングは、他の言語にモデルを適応するための実用的なソリューションを提供する。 しかし、異なる事前トレーニング設定が下流タスクに与える影響は未調査のままである。 この研究は$\texttt{ptt5-v2}$を導入し、ポルトガル向けのT5モデルの継続的な事前トレーニングを調査した。 まず、最大3Bパラメータを持つベースライン設定と事前訓練モデルを開発する。 ポルトガルの3つの下流タスク(assin2 STS、assin2 RTE、TweetSentBR)を微調整すると、後者の2つでSOTA結果が得られる。 次に、データ品質の事前学習、最適化戦略、マルチエポック事前学習など、さまざまな事前学習構成の効果について検討する。 おそらく意外なことに、その影響はベースラインと比べて微妙だ。 We release $\texttt{ptt5-v2}$ pretrained checkpoints and their MonoT5 based finetuned $\texttt{MonoPTT5}$ rerankers on HuggingFace in their collections at \url{https://huggingface.co/unicamp-dl}

関連論文リスト

• A Text-to-Text Model for Multilingual Offensive Language Identification [19.23565690468299]
  本研究では,テキスト・トゥ・テキスト・トランスフォーマを用いた攻撃的言語識別のためのエンコーダ・デコーダアーキテクチャを用いた最初の事前学習モデルを提案する(T5)。 我々の事前学習されたT5モデルは、複数の英語ベンチマークにおいて、fBERTやHateBERTのような攻撃的言語検出のために微調整された他のトランスフォーマーベースモデルよりも優れている。 同様のアプローチで、mT5を用いて攻撃的言語識別のための最初の多言語事前訓練モデルを訓練する。
  論文  参考訳（メタデータ） (2023-12-06T09:37:27Z)
• Investigating Pre-trained Language Models on Cross-Domain Datasets, a Step Closer to General AI [0.8889304968879164]
  本研究では、事前学習された言語モデルが、異なる非言語タスクに一般化する能力について検討する。 私たちが使用した4つの事前訓練モデル、T5、BART、BERT、GPT-2は優れた結果を得た。
  論文  参考訳（メタデータ） (2023-06-21T11:55:17Z)
• T5lephone: Bridging Speech and Text Self-supervised Models for Spoken Language Understanding via Phoneme level T5 [65.32642587901903]
  我々は、異なるトークン化戦略を持つPLMが音声言語理解タスクにどのように影響するかを広範囲に研究する。 我々は、音素化されたテキストを使って事前訓練されたT5の変種であるT5lephoneを作成するためのアイデアを拡張した。
  論文  参考訳（メタデータ） (2022-11-01T17:00:23Z)
• Sequence to sequence pretraining for a less-resourced Slovenian language [0.0]
  我々は2つの異なる大きさのT5型配列を、より少ない資源で形態的にリッチなスロベニア語のシーケンスモデルに訓練し、それらの振る舞いを分析した。 分類タスクに関しては、SloT5モデルはモノリンガルなSlovene SloBERTaモデルより遅れているが、生成タスクには考慮されている。
  論文  参考訳（メタデータ） (2022-07-28T10:08:50Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)
• Pre-Training a Language Model Without Human Language [74.11825654535895]
  先行学習データの本質的性質が下流性能の微調整にどのように寄与するかを検討する。 非構造化データで事前に訓練されたモデルは、下流のタスクでゼロから訓練されたモデルに勝った。 驚くべきことに、特定の非人間言語データの事前トレーニングがGLUEのパフォーマンスを他の非英語言語で事前トレーニングされたパフォーマンスに近づけることを明らかにしました。
  論文  参考訳（メタデータ） (2020-12-22T13:38:06Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• PTT5: Pretraining and validating the T5 model on Brazilian Portuguese data [4.579262239784748]
  ポルトガルのWebページの大規模なコレクションであるBrWac corpus上で、T5モデルを事前訓練する。 ポルトガルの事前訓練モデルでは、オリジナルのT5モデルよりも大幅に性能が向上していることを示す。
  論文  参考訳（メタデータ） (2020-08-20T18:10:13Z)
• Recipes for Adapting Pre-trained Monolingual and Multilingual Models to Machine Translation [50.0258495437314]
  機械翻訳(MT)における事前学習モデルの微調整において、凍結パラメータの利点と欠点と新しいパラメータの追加について検討する。 BARTでは、モデルパラメータの大部分を凍結し、追加の位置埋め込みを追加することで、最高のパフォーマンスを得ることができます。 mBARTでは、ほとんどの言語ペアがエンコーダで、ほとんどのデコーダはフリーズして、素早い微調整のパフォーマンスにマッチするか、向上します。
  論文  参考訳（メタデータ） (2020-04-30T16:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。