論文の概要: Pretrained Language Models for Text Generation: A Survey
- arxiv url: http://arxiv.org/abs/2105.10311v1
- Date: Fri, 21 May 2021 12:27:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 03:35:44.550780
- Title: Pretrained Language Models for Text Generation: A Survey
- Title（参考訳）: テキスト生成のための事前学習言語モデル:調査
- Authors: Junyi Li, Tianyi Tang, Wayne Xin Zhao and Ji-Rong Wen
- Abstract要約: 本稿では、テキスト生成のための事前学習言語モデル(PLM)のトピックにおいて達成された大きな進歩について概説する。
我々は、既存のPLMを異なる入力データに適応させ、生成したテキストの特別な特性を満たす方法について論じる。
- 参考スコア（独自算出の注目度）: 46.03096493973206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text generation has become one of the most important yet challenging tasks in
natural language processing (NLP). The resurgence of deep learning has greatly
advanced this field by neural generation models, especially the paradigm of
pretrained language models (PLMs). In this paper, we present an overview of the
major advances achieved in the topic of PLMs for text generation. As the
preliminaries, we present the general task definition and briefly describe the
mainstream architectures of PLMs for text generation. As the core content, we
discuss how to adapt existing PLMs to model different input data and satisfy
special properties in the generated text. We further summarize several
important fine-tuning strategies for text generation. Finally, we present
several future directions and conclude this paper. Our survey aims to provide
text generation researchers a synthesis and pointer to related research.
- Abstract（参考訳）: テキスト生成は自然言語処理(NLP)において最も重要かつ困難なタスクの1つとなっている。
ディープラーニングの復活は、ニューラルジェネレーションモデル、特に事前学習言語モデル(plm)のパラダイムによって、この分野を大きく前進させた。
本稿では,テキスト生成のためのPLMの話題において達成された主な進歩について概説する。
予備として、一般的なタスク定義を説明し、テキスト生成のためのplmのメインストリームアーキテクチャを簡潔に説明する。
コアコンテンツとして、既存のPLMを用いて異なる入力データをモデル化し、生成されたテキストの特別な特性を満たす方法について論じる。
さらに,テキスト生成のための重要な微調整戦略についても概説する。
最後に,今後の方向性を示し,本論文をまとめる。
本研究の目的は,テキスト生成研究者に関連研究の合成とポインタを提供することである。
関連論文リスト
- Surveying the Landscape of Text Summarization with Deep Learning: A
Comprehensive Review [2.4185510826808487]
ディープラーニングは、言語データの複雑な表現を学習できるモデルの開発を可能にすることによって、自然言語処理(NLP)に革命をもたらした。
NLPのディープラーニングモデルは、通常、大量のデータを使用してディープニューラルネットワークをトレーニングし、言語データ内のパターンと関係を学習する。
テキスト要約にディープラーニングを適用することは、テキスト要約タスクを実行するためにディープニューラルネットワークを使用することを指す。
論文 参考訳（メタデータ） (2023-10-13T21:24:37Z) - Automatic and Human-AI Interactive Text Generation [27.05024520190722]
本チュートリアルは、最先端の自然言語生成研究の概要を提供する。
テキストからテキストへの生成タスクは、セマンティック一貫性とターゲット言語スタイルの観点からより制約される。
論文 参考訳（メタデータ） (2023-10-05T20:26:15Z) - A Survey on Retrieval-Augmented Text Generation [53.04991859796971]
Retrieval-augmented text generationは顕著な利点があり、多くのNLPタスクで最先端のパフォーマンスを実現している。
まず、検索拡張生成の一般的なパラダイムを強調し、異なるタスクに応じて注目すべきアプローチをレビューする。
論文 参考訳（メタデータ） (2022-02-02T16:18:41Z) - A Survey of Pretrained Language Models Based Text Generation [97.64625999380425]
テキスト生成は、入力データから人間の言語で可読で読みやすいテキストを生成することを目的としている。
ディープラーニングは、ニューラルジェネレーションモデル、特に事前学習言語モデル(PLM)のパラダイムにより、この分野を大幅に進歩させた。
PLM上でのテキスト生成は、学術と産業の両方において有望な方向と見なされている。
論文 参考訳（メタデータ） (2022-01-14T01:44:58Z) - Deep Learning for Text Style Transfer: A Survey [71.8870854396927]
テキストスタイル転送は、生成したテキストの特定の属性を制御することを目的として、自然言語生成において重要なタスクである。
2017年の最初のニューラルテキストスタイル転送作業以降,100以上の代表的な記事を対象とした,ニューラルテキストスタイル転送の研究の体系的な調査を行う。
タスクの定式化、既存のデータセットとサブタスク、評価、並列データと非並列データの存在下での豊富な方法論について論じる。
論文 参考訳（メタデータ） (2020-11-01T04:04:43Z) - Positioning yourself in the maze of Neural Text Generation: A
Task-Agnostic Survey [54.34370423151014]
本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。
本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
論文 参考訳（メタデータ） (2020-10-14T17:54:42Z) - A Survey of Knowledge-Enhanced Text Generation [81.24633231919137]
テキスト生成の目標は、機械を人間の言語で表現できるようにすることである。
入力テキストを出力テキストにマッピングすることを学ぶことで、目的を達成するために、様々なニューラルエンコーダデコーダモデルが提案されている。
この問題に対処するために、研究者は入力テキスト以外の様々な種類の知識を生成モデルに組み込むことを検討してきた。
論文 参考訳（メタデータ） (2020-10-09T06:46:46Z) - QURIOUS: Question Generation Pretraining for Text Generation [13.595014409069584]
本稿では,テキスト生成目標に適合する事前学習手法として質問生成を提案する。
本手法で事前訓練したテキスト生成モデルは,入力の本質を理解するのが得意であり,目的タスクに適した言語モデルである。
論文 参考訳（メタデータ） (2020-04-23T08:41:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。