論文の概要: A Survey of Pretrained Language Models Based Text Generation
- arxiv url: http://arxiv.org/abs/2201.05273v1
- Date: Fri, 14 Jan 2022 01:44:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-17 14:33:34.833918
- Title: A Survey of Pretrained Language Models Based Text Generation
- Title(参考訳): 事前学習言語モデルに基づくテキスト生成に関する調査
- Authors: Junyi Li, Tianyi Tang, Wayne Xin Zhao, Jian-Yun Nie and Ji-Rong Wen
- Abstract要約: テキスト生成は、入力データから人間の言語で可読で読みやすいテキストを生成することを目的としている。
ディープラーニングは、ニューラルジェネレーションモデル、特に事前学習言語モデル(PLM)のパラダイムにより、この分野を大幅に進歩させた。
PLM上でのテキスト生成は、学術と産業の両方において有望な方向と見なされている。
- 参考スコア(独自算出の注目度): 97.64625999380425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text Generation aims to produce plausible and readable text in human language
from input data. The resurgence of deep learning has greatly advanced this
field by neural generation models, especially the paradigm of pretrained
language models (PLMs). Grounding text generation on PLMs is seen as a
promising direction in both academia and industry. In this survey, we present
the recent advances achieved in the topic of PLMs for text generation. In
detail, we begin with introducing three key points of applying PLMs to text
generation: 1) how to encode the input data as representations preserving input
semantics which can be fused into PLMs; 2) how to design a universal and
performant architecture of PLMs served as generation models; and 3) how to
optimize PLMs given the reference text and ensure the generated text satisfying
special text properties. Then, we figure out several challenges and future
directions within each key point. Next, we present a summary of various useful
resources and typical text generation applications to work with PLMs. Finally,
we conclude and summarize the contribution of this survey.
- Abstract(参考訳): テキスト生成は、入力データから人間の言語で読みやすいテキストを生成することを目的としている。
ディープラーニングの復活は、ニューラルジェネレーションモデル、特に事前学習言語モデル(plm)のパラダイムによって、この分野を大きく前進させた。
PLMのテキスト生成は、学術と産業の両方において有望な方向と見なされている。
本稿では,テキスト生成におけるPLMの話題における最近の進歩について述べる。
詳しくは、PLMをテキスト生成に適用する3つの重要なポイントを紹介します。
1) PLMに融合可能な入力セマンティクスを保存する表現として入力データをエンコードする方法
2) PLMの汎用かつ高性能なアーキテクチャを設計する方法は,世代モデルとして機能する。
3) 参照テキストを与えられたPLMを最適化し、特別なテキストプロパティを満たす生成されたテキストを確実にする方法。
そして、各キーポイントにいくつかの課題と今後の方向性を見出す。
次に、PLMを扱うための様々な有用なリソースと典型的なテキスト生成アプリケーションの概要を示す。
最後に,本調査の成果をまとめ,まとめる。
関連論文リスト
- GigaCheck: Detecting LLM-generated Content [72.27323884094953]
本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。
本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。
具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
論文 参考訳(メタデータ) (2024-10-31T08:30:55Z) - Recent advances in text embedding: A Comprehensive Review of Top-Performing Methods on the MTEB Benchmark [0.0]
MTEB(Massive Text Embedding Benchmark)におけるテキスト埋め込みの最高性能に着目したユニバーサルテキスト埋め込みモデルの進歩について概説する。
詳細な比較と分析を通じて、この分野における重要な貢献と限界を強調し、将来的な研究の方向性を示唆する。
論文 参考訳(メタデータ) (2024-05-27T09:52:54Z) - Exploration of Masked and Causal Language Modelling for Text Generation [6.26998839917804]
本稿では,テキスト生成タスクにおける因果言語モデリング手法の広範な比較を行う。
まず、定量的な指標を用いて、コヒーレンスと文法的正当性を分析する定性的な人的評価を行う。
その結果、すべてのデータセットでテキスト生成において、CLMは一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2024-05-21T09:33:31Z) - Few-Shot Table-to-Text Generation with Prompt Planning and Knowledge
Memorization [41.20314472839442]
数ショット設定でテーブル・ツー・テキスト生成をターゲットとするPromptMizeという新しいフレームワークを提案する。
私たちのフレームワークの設計は、プロンプトプランナーと知識アダプタの2つの側面で構成されています。
本モデルは,人的・自動的な評価によって判断される品質を著しく向上させる。
論文 参考訳(メタデータ) (2023-02-09T03:04:11Z) - Pre-trained Language Models for Keyphrase Generation: A Thorough
Empirical Study [76.52997424694767]
事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。
PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。
さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
論文 参考訳(メタデータ) (2022-12-20T13:20:21Z) - Learning to Transfer Prompts for Text Generation [97.64625999380425]
転送可能なテキスト生成のための新しいプロンプトベース手法(PTG)を提案する。
まず、PTGは、様々なソース生成タスクの一連のソースプロンプトを学習し、ターゲット生成タスクを実行するためのターゲットプロンプトとしてこれらのプロンプトを転送する。
広範な実験では、PTGは微調整法よりも競争力または優れた結果が得られる。
論文 参考訳(メタデータ) (2022-05-03T14:53:48Z) - Pretrained Language Models for Text Generation: A Survey [46.03096493973206]
本稿では、テキスト生成のための事前学習言語モデル(PLM)のトピックにおいて達成された大きな進歩について概説する。
我々は、既存のPLMを異なる入力データに適応させ、生成したテキストの特別な特性を満たす方法について論じる。
論文 参考訳(メタデータ) (2021-05-21T12:27:44Z) - A Survey of Knowledge-Enhanced Text Generation [81.24633231919137]
テキスト生成の目標は、機械を人間の言語で表現できるようにすることである。
入力テキストを出力テキストにマッピングすることを学ぶことで、目的を達成するために、様々なニューラルエンコーダデコーダモデルが提案されている。
この問題に対処するために、研究者は入力テキスト以外の様々な種類の知識を生成モデルに組み込むことを検討してきた。
論文 参考訳(メタデータ) (2020-10-09T06:46:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。