論文の概要: Sequence-to-Sequence Spanish Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2309.11259v1
• Date: Wed, 20 Sep 2023 12:35:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 12:59:37.689297
• Title: Sequence-to-Sequence Spanish Pre-trained Language Models
• Title（参考訳）: スペイン語事前学習言語モデル
• Authors: Vladimir Araujo, Maria Mihaela Trusca, Rodrigo Tufi\~no, Marie-Francine Moens
• Abstract要約: 本稿では,スペインのコーパスでのみ事前学習された有名なエンコーダデコーダアーキテクチャの実装と評価を紹介する。 本稿では,BART,T5,BERT2BERTスタイルのスペイン語版について述べる。 BARTとT5はすべての評価タスクのトップパフォーマーとして登場しています。
• 参考スコア（独自算出の注目度）: 25.21845296739552
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, substantial advancements in pre-trained language models have paved the way for the development of numerous non-English language versions, with a particular focus on encoder-only and decoder-only architectures. While Spanish language models encompassing BERT, RoBERTa, and GPT have exhibited prowess in natural language understanding and generation, there remains a scarcity of encoder-decoder models designed for sequence-to-sequence tasks involving input-output pairs. This paper breaks new ground by introducing the implementation and evaluation of renowned encoder-decoder architectures, exclusively pre-trained on Spanish corpora. Specifically, we present Spanish versions of BART, T5, and BERT2BERT-style models and subject them to a comprehensive assessment across a diverse range of sequence-to-sequence tasks, spanning summarization, rephrasing, and generative question answering. Our findings underscore the competitive performance of all models, with BART and T5 emerging as top performers across all evaluated tasks. As an additional contribution, we have made all models publicly available to the research community, fostering future exploration and development in Spanish language processing.
• Abstract（参考訳）: 近年、事前学習された言語モデルの大幅な進歩は、エンコーダのみとデコーダのみのアーキテクチャに焦点を当てた多数の非英語言語バージョンの開発への道を開いた。 ベルタ、ロベルタ、gptを包含するスペイン語モデルは自然言語理解と生成に長けているが、入力-出力ペアを含むシーケンス-シーケンスタスクのために設計されたエンコーダ-デコーダモデルが少ない。 本稿では,スペインのコーポラでのみトレーニングされたエンコーダ・デコーダアーキテクチャの実装と評価を紹介する。 具体的には, BART, T5, BERT2BERTスタイルのスペイン語版を提示し, 要約, 言い換え, 生成的質問応答など, 多様なシーケンス対シーケンスタスクの包括的評価を行う。 評価したすべてのタスクにおいて,bartとt5がトップパフォーマーとして登場しています。 さらなる貢献として、すべてのモデルを研究コミュニティに公開し、スペイン語処理における将来の探索と開発を奨励しました。

関連論文リスト

• A Text-to-Text Model for Multilingual Offensive Language Identification [19.23565690468299]
  本研究では,テキスト・トゥ・テキスト・トランスフォーマを用いた攻撃的言語識別のためのエンコーダ・デコーダアーキテクチャを用いた最初の事前学習モデルを提案する(T5)。 我々の事前学習されたT5モデルは、複数の英語ベンチマークにおいて、fBERTやHateBERTのような攻撃的言語検出のために微調整された他のトランスフォーマーベースモデルよりも優れている。 同様のアプローチで、mT5を用いて攻撃的言語識別のための最初の多言語事前訓練モデルを訓練する。
  論文  参考訳（メタデータ） (2023-12-06T09:37:27Z)
• Spanish Pre-trained BERT Model and Evaluation Data [0.0]
  本稿では,スペイン語データのみを対象としたBERTに基づく言語モデルを提案する。 また、スペイン語用のタスクを1つのリポジトリにまとめました。 我々は、我々のモデル、事前トレーニングデータ、およびスペインのベンチマークのコンパイルを公開しました。
  論文  参考訳（メタデータ） (2023-08-06T00:16:04Z)
• Multilingual Sequence-to-Sequence Models for Hebrew NLP [16.010560946005473]
  シーケンス・ツー・シーケンス生成アーキテクチャはヘブライ語のような形態的にリッチな言語(MRL)により適していることを示す。 我々は,ヘブライ語NLPパイプラインのタスクをテキスト・テキスト・タスクとしてキャストすることで,マルチリンガルで事前訓練されたシーケンス・ツー・シーケンスモデルをmT5として活用できることを実証した。
  論文  参考訳（メタデータ） (2022-12-19T18:10:23Z)
• Few-shot Subgoal Planning with Language Models [58.11102061150875]
  事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。 サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
  論文  参考訳（メタデータ） (2022-05-28T01:03:30Z)
• Summarize and Generate to Back-translate: Unsupervised Translation of Programming Languages [86.08359401867577]
  バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。 コード要約と生成による逆翻訳を提案する。 提案手法は最先端の手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-05-23T08:20:41Z)
• The futility of STILTs for the classification of lexical borrowings in Spanish [0.0]
  STILTは、多言語モデルの直接微調整よりも改善していない。 少数の言語のサブセットでトレーニングされた多言語モデルは、多言語BERTよりも合理的に優れているが、与えられたデータセットに対する多言語RoBERTaほど良くない。
  論文  参考訳（メタデータ） (2021-09-17T15:32:02Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
  中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。 文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。 本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-04-15T02:36:49Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• What the [MASK]? Making Sense of Language-Specific BERT Models [39.54532211263058]
  本稿では,言語固有のBERTモデルにおける技術の現状について述べる。 本研究の目的は,言語固有のBERTモデルとmBERTモデルとの共通点と相違点について概説することである。
  論文  参考訳（メタデータ） (2020-03-05T20:42:51Z)
• Multilingual Denoising Pre-training for Neural Machine Translation [132.66750663226287]
  mBART(mBART)は、大規模モノリンガルコーパスで事前訓練されたシーケンスからシーケンスまでの自動エンコーダである。 mBARTは、完全なシーケンス・ツー・シーケンスモデルを事前訓練する最初の方法の1つである。
  論文  参考訳（メタデータ） (2020-01-22T18:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。