論文の概要: A Survey of Controllable Text Generation using Transformer-based
Pre-trained Language Models
- arxiv url: http://arxiv.org/abs/2201.05337v1
- Date: Fri, 14 Jan 2022 08:32:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-17 20:48:04.192636
- Title: A Survey of Controllable Text Generation using Transformer-based
Pre-trained Language Models
- Title（参考訳）: トランスベース事前学習言語モデルを用いた制御可能なテキスト生成に関する調査
- Authors: Hanqing Zhang, Haolin Song, Shaoyu Li, Ming Zhou, Dawei Song
- Abstract要約: 制御可能なテキスト生成(CTG)は、自然言語生成(NLG)分野における新興分野である
本稿では,この領域における共通課題,主なアプローチ,評価手法について,体系的な批判的考察を行う。
我々は、この分野が直面している課題について議論し、様々な将来的な方向性を示した。
- 参考スコア（独自算出の注目度）: 27.61226155871734
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Controllable Text Generation (CTG) is emerging area in the field of natural
language generation (NLG). It is regarded as crucial for the development of
advanced text generation technologies that are more natural and better meet the
specific constraints in practical applications. In recent years, methods using
large-scale pre-trained language models (PLMs), in particular the widely used
transformer-based PLMs, have become a new paradigm of NLG, allowing generation
of more diverse and fluent text. However, due to the lower level of
interpretability of deep neural networks, the controllability of these methods
need to be guaranteed. To this end, controllable text generation using
transformer-based PLMs has become a rapidly growing yet challenging new
research hotspot. A diverse range of approaches have emerged in the recent 3-4
years, targeting different CTG tasks which may require different types of
controlled constraints. In this paper, we present a systematic critical review
on the common tasks, main approaches and evaluation methods in this area.
Finally, we discuss the challenges that the field is facing, and put forward
various promising future directions. To the best of our knowledge, this is the
first survey paper to summarize CTG techniques from the perspective of PLMs. We
hope it can help researchers in related fields to quickly track the academic
frontier, providing them with a landscape of the area and a roadmap for future
research.
- Abstract（参考訳）: 制御可能なテキスト生成(CTG)は、自然言語生成(NLG)分野における新興分野である。
これは、より自然で実用的な応用における特定の制約を満たす高度なテキスト生成技術の発達に欠かせないものと考えられている。
近年、大規模な事前学習言語モデル(PLM)を用いた手法、特に広く使われているトランスフォーマーベースのPLMは、NLGの新しいパラダイムとなり、より多種多様な流動的なテキストを生成することができる。
しかしながら、ディープニューラルネットワークの解釈可能性が低いため、これらの方法の制御性が保証される必要がある。
この目的のために、トランスフォーマーベースのPLMを用いた制御可能なテキスト生成は、急速に成長するが、新しい研究ホットスポットとなっている。
過去3～4年間に様々なアプローチが出現し、異なる種類の制御制約を必要とする様々なCTGタスクをターゲットにしている。
本稿では,この分野における共通課題,主なアプローチ,評価手法について,系統的な批判的考察を行う。
最後に、この分野が直面している課題について議論し、様々な将来的な方向性を提示する。
私たちの知る限りでは、plmの観点からctg技術を要約した最初の調査論文となる。
関連分野の研究者が学術的なフロンティアを素早く追跡し、その領域の風景と今後の研究のロードマップを提供するのに役立つことを期待している。
関連論文リスト
- Controllable Text Generation for Large Language Models: A Survey [27.110528099257156]
本稿では,大規模言語モデルにおける制御可能なテキスト生成の最近の進歩を体系的にレビューする。
我々はCTGタスクをコンテンツ制御と制御の2つの主要なタイプに分類する。
現在の研究における重要な課題には、流用率の低減や実用性といった課題に対処する。
論文 参考訳（メタデータ） (2024-08-22T17:59:04Z) - A Comprehensive Survey of Accelerated Generation Techniques in Large Language Models [2.091322528026356]
本稿では,自己回帰言語モデルにおける高速化手法について調査する。
我々はこれらの手法を,投機的復号化,早期退避機構,非自己回帰手法の4つの重要な領域に分類する。
論文 参考訳（メタデータ） (2024-05-15T07:36:56Z) - Bringing order into the realm of Transformer-based language models for
artificial intelligence and law [3.2074558838636262]
トランスフォーマーベース言語モデル(TLM)は最先端技術として広く認識されている。
本稿は、法的領域におけるAI駆動問題とタスクに対するTLMベースの手法に関する最初の体系的な概要を提供する。
論文 参考訳（メタデータ） (2023-08-10T11:14:22Z) - Deliberate then Generate: Enhanced Prompting Framework for Text
Generation [70.10319005141888]
Deliberate then Generate (DTG) プロンプトフレームワークはエラー検出命令とエラーを含む可能性のある候補で構成されている。
我々は、要約、翻訳、対話など、7つのテキスト生成タスクにまたがる20以上のデータセットに関する広範な実験を行う。
本稿では,DTGが既存のプロンプト手法を一貫して上回り,複数のテキスト生成タスクにおける最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2023-05-31T13:23:04Z) - Generative Pre-trained Transformer: A Comprehensive Review on Enabling
Technologies, Potential Applications, Emerging Challenges, and Future
Directions [11.959434388955787]
Generative Pre-trained Transformer (GPT)は、自然言語処理の分野における顕著なブレークスルーである。
GPTは自然言語処理タスク用に設計されたディープニューラルネットワークであるTransformerアーキテクチャに基づいている。
論文 参考訳（メタデータ） (2023-05-11T19:20:38Z) - A Survey of Pretrained Language Models Based Text Generation [97.64625999380425]
テキスト生成は、入力データから人間の言語で可読で読みやすいテキストを生成することを目的としている。
ディープラーニングは、ニューラルジェネレーションモデル、特に事前学習言語モデル(PLM)のパラダイムにより、この分野を大幅に進歩させた。
PLM上でのテキスト生成は、学術と産業の両方において有望な方向と見なされている。
論文 参考訳（メタデータ） (2022-01-14T01:44:58Z) - Pretrained Language Models for Text Generation: A Survey [46.03096493973206]
本稿では、テキスト生成のための事前学習言語モデル(PLM)のトピックにおいて達成された大きな進歩について概説する。
我々は、既存のPLMを異なる入力データに適応させ、生成したテキストの特別な特性を満たす方法について論じる。
論文 参考訳（メタデータ） (2021-05-21T12:27:44Z) - Positioning yourself in the maze of Neural Text Generation: A
Task-Agnostic Survey [54.34370423151014]
本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。
本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
論文 参考訳（メタデータ） (2020-10-14T17:54:42Z) - Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。
トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
論文 参考訳（メタデータ） (2020-10-13T15:20:32Z) - Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。
このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。
本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2020-06-28T21:23:05Z) - Exploring the Limits of Transfer Learning with a Unified Text-to-Text
Transformer [64.22926988297685]
下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。
本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
論文 参考訳（メタデータ） (2019-10-23T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。