論文の概要: Sequence to sequence pretraining for a less-resourced Slovenian language

• arxiv url: http://arxiv.org/abs/2207.13988v1
• Date: Thu, 28 Jul 2022 10:08:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-29 12:21:42.126910
• Title: Sequence to sequence pretraining for a less-resourced Slovenian language
• Title（参考訳）: 少ない音源を持つスロベニア語に対するシーケンス事前訓練の手順
• Authors: Matej Ul\v{c}ar, Marko Robnik-\v{S}ikonja
• Abstract要約: 我々は2つの異なる大きさのT5型配列を、より少ない資源で形態的にリッチなスロベニア語のシーケンスモデルに訓練し、それらの振る舞いを分析した。 分類タスクに関しては、SloT5モデルはモノリンガルなSlovene SloBERTaモデルより遅れているが、生成タスクには考慮されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large pretrained language models have recently conquered the area of natural language processing. As an alternative to predominant masked language modelling introduced in BERT, the T5 model has introduced a more general training objective, namely sequence to sequence transformation, which includes masked language model but more naturally fits text generation tasks such as machine translation, summarization, open-domain question answering, text simplification, dialogue systems, etc. The monolingual variants of T5 models have been limited to well-resourced languages, while the massively multilingual T5 model supports 101 languages. In contrast, we trained two different sized T5-type sequence to sequence models for morphologically rich Slovene language with much less resources and analyzed their behavior. Concerning classification tasks, the SloT5 models mostly lag behind the monolingual Slovene SloBERTa model but are to be considered for the generative tasks.
• Abstract（参考訳）: 大規模な事前学習型言語モデルは、最近自然言語処理の領域を征服した。 bertで導入された主要なマスキング言語モデリングの代替として、t5モデルは、より一般的なトレーニング目標、すなわち、マスキング言語モデルを含むが、機械翻訳、要約、オープンドメイン質問応答、テキスト単純化、対話システムなどのテキスト生成タスクに自然に適合するシーケンス変換のシーケンスを導入した。 T5モデルのモノリンガル変種は、多言語T5モデルが101言語をサポートするのに対して、十分なリソースを持つ言語に限られている。 対照的に,我々は2つの異なるサイズt5型シーケンスを訓練し,形態学的にリッチなスロベニア語のシーケンスモデルを構築し,それらの振る舞いを分析した。 分類タスクに関しては、SloT5モデルはモノリンガルなSlovene SloBERTaモデルより遅れているが、生成タスクには考慮されている。

関連論文リスト

• Generative Model for Less-Resourced Language with 1 billion parameters [0.0]
  GaMS 1B - 10億のパラメータを持つスロベニアの生成モデル。 我々はスロベニア語、クロアチア語、英語に適応した新しいトークンライザを開発した。 我々は,Slovene ベンチマークスイートと生成文単純化タスク SENTA から,いくつかの分類データセットを用いてモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-09T13:59:34Z)
• A Text-to-Text Model for Multilingual Offensive Language Identification [19.23565690468299]
  本研究では,テキスト・トゥ・テキスト・トランスフォーマを用いた攻撃的言語識別のためのエンコーダ・デコーダアーキテクチャを用いた最初の事前学習モデルを提案する(T5)。 我々の事前学習されたT5モデルは、複数の英語ベンチマークにおいて、fBERTやHateBERTのような攻撃的言語検出のために微調整された他のトランスフォーマーベースモデルよりも優れている。 同様のアプローチで、mT5を用いて攻撃的言語識別のための最初の多言語事前訓練モデルを訓練する。
  論文  参考訳（メタデータ） (2023-12-06T09:37:27Z)
• mmT5: Modular Multilingual Pre-Training Solves Source Language Hallucinations [54.42422445568523]
  mmT5はモジュール型多言語シーケンス・ツー・シーケンスモデルである。 言語固有の情報を言語に依存しない情報から切り離す。 mT5と比較して、mT5はゼロショット設定で正しい言語でテキストを生成する率を7%から99%に向上させる。
  論文  参考訳（メタデータ） (2023-05-23T16:38:01Z)
• idT5: Indonesian Version of Multilingual T5 Transformer [0.0]
  インドネシア語は2億人近い人々によって話されており、世界で10番目に話されている言語である。 本研究では,mT5モデルがインドネシア語にのみ適用され,インドネシア語のみに限定した訓練済みのT5モデルが得られた。 本モデルに基づく微調整モデルでは,SAでは77.18%,mT5モデルより8%高い精度を示し,QGおよびQAではmT5モデルとほぼ同じスコアを得た。
  論文  参考訳（メタデータ） (2023-02-02T03:56:16Z)
• Bidirectional Language Models Are Also Few-shot Learners [54.37445173284831]
  SAP(Sequential Autoregressive Prompting)は,双方向モデルの高速化を実現する技術である。 SAPは質問応答と要約に有効であることを示す。 この結果から,より広範な言語モデルの創発的特性として,プロンプトに基づく学習が証明された。
  論文  参考訳（メタデータ） (2022-09-29T01:35:57Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• mT5: A massively multilingual pre-trained text-to-text transformer [60.0210636815514]
  The Text-to-Text Transfer Transformer (T5) は、統一されたテキスト・トゥ・テキストフォーマットとスケールを利用して、英語のNLPタスクで最先端の結果を得る。 101言語をカバーする新しいCommon Crawlベースのデータセットで事前トレーニングを行ったマルチ言語版T5であるmT5を紹介する。
  論文  参考訳（メタデータ） (2020-10-22T17:58:14Z)
• Multilingual Translation with Extensible Multilingual Pretraining and Finetuning [77.33262578776291]
  これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。 多言語翻訳モデルは多言語微調整により作成可能であることを示す。 事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
  論文  参考訳（メタデータ） (2020-08-02T05:36:55Z)
• WikiBERT models: deep transfer learning for many languages [1.3455090151301572]
  ウィキペディアデータから言語固有のBERTモデルを作成するための、単純で完全に自動化されたパイプラインを導入します。 我々は,これらのモデルの有効性を,Universal Dependenciesデータに基づく最先端のUDifyを用いて評価する。
  論文  参考訳（メタデータ） (2020-06-02T11:57:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。