Fugu-MT 論文翻訳(概要): Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey

論文の概要: Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey

arxiv url: http://arxiv.org/abs/2111.01243v1
Date: Mon, 1 Nov 2021 20:08:05 GMT
ステータス: 処理完了
システム内更新日: 2021-11-03 23:39:17.046021
Title: Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey
Title（参考訳）: 大規模事前学習型言語モデルによる自然言語処理の最近の進歩:調査
Authors: Bonan Min, Hayley Ross, Elior Sulem, Amir Pouran Ben Veyseh, Thien Huu Nguyen, Oscar Sainz, Eneko Agirre, Ilana Heinz, and Dan Roth
Abstract要約: BERTのような大規模で事前訓練された言語モデルは、自然言語処理(NLP)の分野を大きく変えた。本稿では,これらの大規模言語モデルを用いたNLPタスクの事前学習,微調整,プロンプト,テキスト生成といった手法を用いた最近の研究について紹介する。
参考スコア（独自算出の注目度）: 67.82942975834924
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large, pre-trained transformer-based language models such as BERT have drastically changed the Natural Language Processing (NLP) field. We present a survey of recent work that uses these large language models to solve NLP tasks via pre-training then fine-tuning, prompting, or text generation approaches. We also present approaches that use pre-trained language models to generate data for training augmentation or other purposes. We conclude with discussions on limitations and suggested directions for future research.
Abstract（参考訳）: BERTのような、トレーニング済みのトランスフォーマーベースの大規模言語モデルは、自然言語処理(NLP)の分野を大きく変えた。本稿では,これらの大規模言語モデルを用いたNLPタスクの事前学習,微調整,プロンプト,テキスト生成といった手法を用いた最近の研究について述べる。また,事前学習した言語モデルを用いて学習補助やその他の目的のためのデータを生成する手法を提案する。我々は,今後の研究の限界と方向性に関する議論を締めくくっている。

関連論文リスト

Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
論文参考訳（メタデータ） (2022-06-11T12:52:32Z)
bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
論文参考訳（メタデータ） (2021-10-14T04:05:25Z)
A Comprehensive Comparison of Pre-training Language Models [0.5139874302398955]
私たちは、同じテキスト量と同じトレーニングステップで、トランスフォーマーベースのモデルのリストを事前トレーニングします。実験結果から、BERTの原点における最も改善点は、短いテキスト理解のためにより文脈的な情報を取得するためにRNN層を追加することである。
論文参考訳（メタデータ） (2021-06-22T02:12:29Z)
HerBERT: Efficiently Pretrained Transformer-based Language Model for Polish [4.473327661758546]
本論文では,ポーランド語に焦点をあてた最初のアブレーション研究について述べる。多言語モデルから単言語モデルへの知識伝達の事前学習手順を設計・評価します。提案された手順に基づいて、ポーランドのBERTベースの言語モデルであるHerBERTが訓練される。
論文参考訳（メタデータ） (2021-05-04T20:16:17Z)
Pre-Training a Language Model Without Human Language [74.11825654535895]
先行学習データの本質的性質が下流性能の微調整にどのように寄与するかを検討する。非構造化データで事前に訓練されたモデルは、下流のタスクでゼロから訓練されたモデルに勝った。驚くべきことに、特定の非人間言語データの事前トレーニングがGLUEのパフォーマンスを他の非英語言語で事前トレーニングされたパフォーマンスに近づけることを明らかにしました。
論文参考訳（メタデータ） (2020-12-22T13:38:06Z)
Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文参考訳（メタデータ） (2020-10-24T11:55:28Z)
Pre-training Polish Transformer-based Language Models at Scale [1.0312968200748118]
本稿では,人気のあるBERTアーキテクチャに基づくポーランド語のための2つの言語モデルを提案する。本稿では,データを収集し,コーパスを作成し,モデルを事前学習するための方法論について述べる。次に、ポーランド語の13の課題について、我々のモデルを評価し、そのうち11つの改善点を実証する。
論文参考訳（メタデータ） (2020-06-07T18:48:58Z)
Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文参考訳（メタデータ） (2020-04-29T14:07:18Z)
From English To Foreign Languages: Transferring Pre-trained Language Models [0.12691047660244334]
事前訓練されたモデルは、多くの下流自然言語処理(NLP)タスクにおいてその効果を実証している。多言語事前訓練モデルの可用性により、高リソース言語から低リソース言語へのNLPタスクのゼロショット転送が可能となる。我々は,既存の事前学習されたモデルを,限定的な計算予算の下で英語から他言語に移行する問題に対処する。
論文参考訳（メタデータ） (2020-02-18T00:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。