論文の概要: Evaluation of Transfer Learning for Polish with a Text-to-Text Model

• arxiv url: http://arxiv.org/abs/2205.08808v1
• Date: Wed, 18 May 2022 09:17:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-19 12:12:45.663842
• Title: Evaluation of Transfer Learning for Polish with a Text-to-Text Model
• Title（参考訳）: テキスト・テキスト・モデルを用いたポーランド語移動学習の評価
• Authors: Aleksandra Chrabrowa, {\L}ukasz Dragan, Karol Grzegorczyk, Dariusz Kajtoch, Miko{\l}aj Koszowski, Robert Mroczkowski, Piotr Rybak
• Abstract要約: ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。 KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。 本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
• 参考スコア（独自算出の注目度）: 54.81823151748415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a new benchmark for assessing the quality of text-to-text models for Polish. The benchmark consists of diverse tasks and datasets: KLEJ benchmark adapted for text-to-text, en-pl translation, summarization, and question answering. In particular, since summarization and question answering lack benchmark datasets for the Polish language, we describe their construction and make them publicly available. Additionally, we present plT5 - a general-purpose text-to-text model for Polish that can be fine-tuned on various Natural Language Processing (NLP) tasks with a single training objective. Unsupervised denoising pre-training is performed efficiently by initializing the model weights with a multi-lingual T5 (mT5) counterpart. We evaluate the performance of plT5, mT5, Polish BART (plBART), and Polish GPT-2 (papuGaPT2). The plT5 scores top on all of these tasks except summarization, where plBART is best. In general (except for summarization), the larger the model, the better the results. The encoder-decoder architectures prove to be better than the decoder-only equivalent.
• Abstract（参考訳）: 本稿では,研磨用テキスト間品質評価のための新しいベンチマークを紹介する。 KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。 特に,要約と質問応答はポーランド語のベンチマークデータセットを欠いているため,それらの構成を記述して公開する。 さらに,1つの学習目標で様々な自然言語処理(nlp)タスクを微調整可能な,ポーランドのための汎用テキストからテキストへの汎用モデルplt5を提案する。 モデル重みを多言語T5(mT5)で初期化することにより、教師なし事前学習を効率的に行う。 plT5, mT5, Polish BART (plBART), Polish GPT-2 (papuGaPT2) の評価を行った。 plT5は、plBARTが最良である要約を除いて、これらのタスクのすべてでトップである。 一般に(要約を除く)、モデルが大きくなればなるほど、結果が良くなる。 エンコーダ-デコーダアーキテクチャはデコーダのみの同等アーキテクチャよりも優れている。

関連論文リスト

• PL-MTEB: Polish Massive Text Embedding Benchmark [0.0]
  Polish Massive Text Embedding Benchmark (PL-MTEB) はポーランド語におけるテキスト埋め込みのベンチマークである。 PL-MTEBは5つのタスクタイプから28種類のNLPタスクで構成されている。
  論文  参考訳（メタデータ） (2024-05-16T14:33:39Z)
• Multilingual E5 Text Embeddings: A Technical Report [63.503320030117145]
  異なるサイズの3つの埋め込みモデルを提供し、推論効率と埋め込み品質のバランスを提供する。 そこで我々は,新しい命令調整型埋め込みモデルを導入し,その性能は類似サイズの最先端の英語のみのモデルと同等である。
  論文  参考訳（メタデータ） (2024-02-08T13:47:50Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• Text Embeddings by Weakly-Supervised Contrastive Pre-training [98.31785569325402]
  E5は最先端のテキスト埋め込みのファミリーであり、幅広いタスクにうまく転送される。 E5は、テキストの単一ベクトル表現を必要とするタスクに対して、汎用的な埋め込みモデルとして簡単に使用できる。
  論文  参考訳（メタデータ） (2022-12-07T09:25:54Z)
• This is the way: designing and compiling LEPISZCZE, a comprehensive NLP benchmark for Polish [5.8090623549313944]
  ポーランドNLPの新しい総合ベンチマークであるLEPISZCZEを紹介する。 ポーランドのベンチマークから5つのデータセットを使用し、8つの新しいデータセットを追加しています。 我々はポーランド語のためのベンチマークを作成しながら学んだ洞察と経験を提供し、他の低リソース言語のための同様のベンチマークを設計する青写真を提供する。
  論文  参考訳（メタデータ） (2022-11-23T16:51:09Z)
• mT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs [51.67970832510462]
  翻訳ペア(mt6)を用いた多言語テキスト間トランスフォーマーの改良 本研究では,機械翻訳,翻訳ペアスパン破壊,翻訳スパン破壊という3つの言語間事前学習タスクについて検討した。 実験の結果,mT6はmT5よりも舌間移動性が向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-18T03:24:07Z)
• A Survey of Recent Abstract Summarization Techniques [0.0]
  英語とインドネシア語のウィキペディアデータセットに対する事前学習モデルの影響について検討する。 ROUGEのパフォーマンスに影響を与える最も重要な要因は、カバレッジ、密度、圧縮です。 T5-Large、Pegasus-XSum、ProphetNet-CNNDMは最高の要約を提供する。
  論文  参考訳（メタデータ） (2021-04-15T20:01:34Z)
• Leveraging ParsBERT and Pretrained mT5 for Persian Abstractive Text Summarization [1.0742675209112622]
  本稿では,ペルシャ抽象テキスト要約のための新しいデータセットpn-summaryについて紹介する。 本論文で用いるモデルはmT5とParsBERTモデルのエンコーダデコーダ版である。
  論文  参考訳（メタデータ） (2020-12-21T09:35:52Z)
• mT5: A massively multilingual pre-trained text-to-text transformer [60.0210636815514]
  The Text-to-Text Transfer Transformer (T5) は、統一されたテキスト・トゥ・テキストフォーマットとスケールを利用して、英語のNLPタスクで最先端の結果を得る。 101言語をカバーする新しいCommon Crawlベースのデータセットで事前トレーニングを行ったマルチ言語版T5であるmT5を紹介する。
  論文  参考訳（メタデータ） (2020-10-22T17:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。