Fugu-MT 論文翻訳(概要): Pre-trained Models for Natural Language Processing: A Survey

論文の概要: Pre-trained Models for Natural Language Processing: A Survey

arxiv url: http://arxiv.org/abs/2003.08271v4
Date: Wed, 23 Jun 2021 17:40:26 GMT
ステータス: 処理完了
システム内更新日: 2022-12-22 09:31:44.096958
Title: Pre-trained Models for Natural Language Processing: A Survey
Title（参考訳）: 自然言語処理のための事前学習モデル:調査
Authors: Xipeng Qiu, Tianxiang Sun, Yige Xu, Yunfan Shao, Ning Dai, and Xuanjing Huang
Abstract要約: 事前学習モデル(PTM)の出現は、自然言語処理(NLP)を新しい時代にもたらした。この調査は、様々なNLPタスクに対するPTMの理解、利用、開発のためのハンズオンガイドになることを目的としている。
参考スコア（独自算出の注目度）: 75.95500552357429
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, the emergence of pre-trained models (PTMs) has brought natural language processing (NLP) to a new era. In this survey, we provide a comprehensive review of PTMs for NLP. We first briefly introduce language representation learning and its research progress. Then we systematically categorize existing PTMs based on a taxonomy with four perspectives. Next, we describe how to adapt the knowledge of PTMs to the downstream tasks. Finally, we outline some potential directions of PTMs for future research. This survey is purposed to be a hands-on guide for understanding, using, and developing PTMs for various NLP tasks.
Abstract（参考訳）: 近年,事前学習モデル(PTM)の出現により,自然言語処理(NLP)が新たな時代を迎えている。本調査では,NLP 用 PTM について概説する。まず,言語表現学習とその研究の進展について紹介する。そして,4つの観点から,既存のPTMを分類的に分類する。次に,PTMの知識を下流タスクに適応させる方法について述べる。最後に,今後の研究に向けた PTM の可能性について概説する。この調査は、様々なNLPタスクに対するPTMの理解、利用、開発のためのハンズオンガイドになることを目的としている。

関連論文リスト

Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文参考訳（メタデータ） (2024-01-29T18:27:52Z)
A Communication Theory Perspective on Prompting Engineering Methods for Large Language Models [30.57652062704016]
本稿では,既存の通信理論の枠組みの中で,既存のプロンプトエンジニアリング(PE)手法をレビューするための新たな視点について述べる。 4つの典型的なタスクで使われている既存のPEメソッドのトレンドを、より良く、より深く理解することを目的としている。
論文参考訳（メタデータ） (2023-10-24T03:05:21Z)
Naming Practices of Pre-Trained Models in Hugging Face [4.956536094440504]
PTM(Pre-Trained Models)は、コンピュータシステムにおいて、デプロイ前に品質や性能に適応するために使用される。エンジニアはデプロイメント前に品質やパフォーマンスに適応する。以前の調査では、モデル名は必ずしも適切に選択されている訳ではなく、時に誤っている、と報告されていた。本稿では,Hugging Face PTMレジストリにおいて,PTM命名の実践に関する実証的研究を行った。
論文参考訳（メタデータ） (2023-10-02T21:13:32Z)
A Survey on Knowledge-Enhanced Pre-trained Language Models [8.54551743144995]
自然言語処理(NLP)は、事前学習言語モデル(PLM)によって革新された。ほぼすべてのNLPタスクに新しいレコードを設定するが、PLMは、解釈可能性の低さ、推論能力の弱さ、下流タスクに適用する場合に多くの高価な注釈付きデータが必要であるなど、多くの課題に直面している。外部知識を PLM に統合することにより、textitunderline-Knowledge-underline が強化された underlinePre-trained underlineLanguage underlineModels
論文参考訳（メタデータ） (2022-12-27T09:54:14Z)
Prompt Tuning for Discriminative Pre-trained Language Models [96.04765512463415]
最近の研究は、自然言語処理(NLP)タスクに事前訓練言語モデル(PLM)を刺激する際の迅速なチューニングの有望な結果を示している。 ELECTRAのような差別的なPLMが、いかに効果的に迅速なチューニングが可能かは、まだ不明である。 DPTは,NLPタスクを識別言語モデリング問題に書き換える,識別型PLMの最初のプロンプトチューニングフレームワークである。
論文参考訳（メタデータ） (2022-05-23T10:11:50Z)
A Survey on Programmatic Weak Supervision [74.13976343129966]
本稿では、PWS学習パラダイムの簡単な紹介と、各PWS学習ワークフローに対する代表的アプローチのレビューを行う。この分野の今後の方向性に刺激を与えるために、この分野でまだ探索されていないいくつかの重要な課題を特定します。
論文参考訳（メタデータ） (2022-02-11T04:05:38Z)
AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
論文参考訳（メタデータ） (2022-02-10T04:04:57Z)
Ranking and Tuning Pre-trained Models: A New Paradigm of Exploiting Model Hubs [136.4492678691406]
本稿では,事前学習したモデルのランク付けとチューニングにより,モデルハブを利用する新しいパラダイムを提案する。最高のランク付けされたPTMは、モデルのアーキテクチャを好まない場合は、微調整とデプロイが可能です。チューニング部は、専用メソッドを超越した、複数 PTM チューニングのための新しい手法を導入する。
論文参考訳（メタデータ） (2021-10-20T12:59:23Z)
A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
論文参考訳（メタデータ） (2021-10-01T08:51:58Z)
AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing [0.0]
トランスフォーマーベースの事前訓練言語モデル(T-PTLM)は、ほぼすべてのNLPタスクで大きな成功を収めている。変換されたPTLMは、自己教師付き学習を用いて大量のテキストデータから普遍的な言語表現を学習する。これらのモデルは、下流モデルのスクラッチからのトレーニングを避けるために、下流タスクに適切なバックグラウンド知識を提供する。
論文参考訳（メタデータ） (2021-08-12T05:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。