論文の概要: A Survey of Controllable Text Generation using Transformer-based
Pre-trained Language Models
- arxiv url: http://arxiv.org/abs/2201.05337v5
- Date: Thu, 24 Aug 2023 08:16:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-25 19:11:25.624597
- Title: A Survey of Controllable Text Generation using Transformer-based
Pre-trained Language Models
- Title（参考訳）: トランスベース事前学習言語モデルを用いた制御可能なテキスト生成に関する調査
- Authors: Hanqing Zhang, Haolin Song, Shaoyu Li, Ming Zhou, Dawei Song
- Abstract要約: 制御可能なテキスト生成(CTG)は、自然言語生成(NLG)分野における新興分野である
本稿では,この領域における共通課題,主なアプローチ,評価手法について,体系的な批判的レビューを行う。
我々は、この分野が直面している課題について議論し、様々な将来的な方向性を示した。
- 参考スコア（独自算出の注目度）: 21.124096884958337
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Controllable Text Generation (CTG) is emerging area in the field of natural
language generation (NLG). It is regarded as crucial for the development of
advanced text generation technologies that better meet the specific constraints
in practical applications. In recent years, methods using large-scale
pre-trained language models (PLMs), in particular the widely used
transformer-based PLMs, have become a new paradigm of NLG, allowing generation
of more diverse and fluent text. However, due to the limited level of
interpretability of deep neural networks, the controllability of these methods
need to be guaranteed. To this end, controllable text generation using
transformer-based PLMs has become a rapidly growing yet challenging new
research hotspot. A diverse range of approaches have emerged in the recent 3-4
years, targeting different CTG tasks that require different types of controlled
constraints. In this paper, we present a systematic critical review on the
common tasks, main approaches, and evaluation methods in this area. Finally, we
discuss the challenges that the field is facing, and put forward various
promising future directions. To the best of our knowledge, this is the first
survey paper to summarize the state-of-the-art CTG techniques from the
perspective of Transformer-based PLMs. We hope it can help researchers and
practitioners in the related fields to quickly track the academic and
technological frontier, providing them with a landscape of the area and a
roadmap for future research.
- Abstract（参考訳）: 制御可能なテキスト生成(CTG)は、自然言語生成(NLG)分野における新興分野である。
実用上の制約をよりよく満たす高度なテキスト生成技術を開発する上で重要であると考えられている。
近年、大規模な事前学習言語モデル(PLM)を用いた手法、特に広く使われているトランスフォーマーベースのPLMは、NLGの新しいパラダイムとなり、より多種多様な流動的なテキストを生成することができる。
しかし、ディープニューラルネットワークの解釈可能性に限界があるため、これらの手法の制御性を保証する必要がある。
この目的のために、トランスフォーマーベースのPLMを用いた制御可能なテキスト生成は、急速に成長するが、新しい研究ホットスポットとなっている。
近年の3～4年間で、様々なタイプの制御制約を必要とするCTGタスクをターゲットにした多様なアプローチが出現している。
本稿では,この分野における共通課題,主なアプローチ,評価手法について,系統的な批判的考察を行う。
最後に、この分野が直面している課題について議論し、様々な将来的な方向性を提示する。
我々の知る限りでは、トランスフォーマーベースのPLMの観点から最先端CTG技術の概要をまとめた最初の調査論文である。
関連分野の研究者や実践者が、学術的および技術的フロンティアを迅速に追跡し、その領域の風景と将来の研究のロードマップを提供するのに役立つことを期待している。
関連論文リスト
- Controllable Text Generation for Large Language Models: A Survey [27.110528099257156]
本稿では,大規模言語モデルにおける制御可能なテキスト生成の最近の進歩を体系的にレビューする。
我々はCTGタスクをコンテンツ制御と制御の2つの主要なタイプに分類する。
現在の研究における重要な課題には、流用率の低減や実用性といった課題に対処する。
論文 参考訳（メタデータ） (2024-08-22T17:59:04Z) - A Comprehensive Survey of Accelerated Generation Techniques in Large Language Models [2.091322528026356]
本稿では,自己回帰言語モデルにおける高速化手法について調査する。
我々はこれらの手法を,投機的復号化,早期退避機構,非自己回帰手法の4つの重要な領域に分類する。
論文 参考訳（メタデータ） (2024-05-15T07:36:56Z) - Bringing order into the realm of Transformer-based language models for
artificial intelligence and law [3.2074558838636262]
トランスフォーマーベース言語モデル(TLM)は最先端技術として広く認識されている。
本稿は、法的領域におけるAI駆動問題とタスクに対するTLMベースの手法に関する最初の体系的な概要を提供する。
論文 参考訳（メタデータ） (2023-08-10T11:14:22Z) - Deliberate then Generate: Enhanced Prompting Framework for Text
Generation [70.10319005141888]
Deliberate then Generate (DTG) プロンプトフレームワークはエラー検出命令とエラーを含む可能性のある候補で構成されている。
我々は、要約、翻訳、対話など、7つのテキスト生成タスクにまたがる20以上のデータセットに関する広範な実験を行う。
本稿では,DTGが既存のプロンプト手法を一貫して上回り,複数のテキスト生成タスクにおける最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2023-05-31T13:23:04Z) - Generative Pre-trained Transformer: A Comprehensive Review on Enabling
Technologies, Potential Applications, Emerging Challenges, and Future
Directions [11.959434388955787]
Generative Pre-trained Transformer (GPT)は、自然言語処理の分野における顕著なブレークスルーである。
GPTは自然言語処理タスク用に設計されたディープニューラルネットワークであるTransformerアーキテクチャに基づいている。
論文 参考訳（メタデータ） (2023-05-11T19:20:38Z) - A Survey of Pretrained Language Models Based Text Generation [97.64625999380425]
テキスト生成は、入力データから人間の言語で可読で読みやすいテキストを生成することを目的としている。
ディープラーニングは、ニューラルジェネレーションモデル、特に事前学習言語モデル(PLM)のパラダイムにより、この分野を大幅に進歩させた。
PLM上でのテキスト生成は、学術と産業の両方において有望な方向と見なされている。
論文 参考訳（メタデータ） (2022-01-14T01:44:58Z) - Pretrained Language Models for Text Generation: A Survey [46.03096493973206]
本稿では、テキスト生成のための事前学習言語モデル(PLM)のトピックにおいて達成された大きな進歩について概説する。
我々は、既存のPLMを異なる入力データに適応させ、生成したテキストの特別な特性を満たす方法について論じる。
論文 参考訳（メタデータ） (2021-05-21T12:27:44Z) - Positioning yourself in the maze of Neural Text Generation: A
Task-Agnostic Survey [54.34370423151014]
本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。
本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
論文 参考訳（メタデータ） (2020-10-14T17:54:42Z) - Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。
トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
論文 参考訳（メタデータ） (2020-10-13T15:20:32Z) - Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。
このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。
本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2020-06-28T21:23:05Z) - Exploring the Limits of Transfer Learning with a Unified Text-to-Text
Transformer [64.22926988297685]
下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。
本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
論文 参考訳（メタデータ） (2019-10-23T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。