論文の概要: Control Prefixes for Text Generation
- arxiv url: http://arxiv.org/abs/2110.08329v1
- Date: Fri, 15 Oct 2021 19:32:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-22 01:28:43.525263
- Title: Control Prefixes for Text Generation
- Title（参考訳）: テキスト生成のためのプレフィックス制御
- Authors: Jordan Clive, Kris Cao, Marek Rei
- Abstract要約: 本稿では,各プロンプトに条件付き入力依存情報を組み込む動的手法である制御プリフィックスを提案する。
我々は、WebNLGを含むいくつかのデータからテキストへのデータセットに対して、最先端の結果を提示する。
- 参考スコア（独自算出の注目度）: 17.682443394199375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt learning methods adapt pre-trained language models to downstream
applications by using a task-specific prompt together with the input. Most of
the current work on prompt learning in text generation relies on a shared
dataset-level prompt for all examples in the dataset. We extend this approach
and propose a dynamic method, Control Prefixes, which allows for the inclusion
of conditional input-dependent information in each prompt. Control Prefixes is
at the intersection of prompt learning and controlled generation, empowering
the model to have finer-grained control during text generation. The method
incorporates attribute-level learnable representations into different layers of
a pre-trained transformer, allowing for the generated text to be guided in a
particular direction. We provide a systematic evaluation of the technique and
apply it to five datasets from the GEM benchmark for natural language
generation (NLG). We present state-of-the-art results on several data-to-text
datasets, including WebNLG.
- Abstract（参考訳）: Prompt Learningメソッドは、タスク固有のプロンプトを入力と共に使用することにより、事前学習された言語モデルを下流アプリケーションに適用する。
テキスト生成におけるプロンプト学習に関する現在の作業のほとんどは、データセットのすべての例に対して、共有データセットレベルのプロンプトに依存している。
本手法を拡張し,各プロンプトに条件付き入力依存情報を組み込む動的手法である制御プリフィックスを提案する。
制御プレフィックスは、即興学習と制御生成の交点にあり、モデルがテキスト生成中にきめ細かい制御を行うことを可能にする。
この方法は、属性レベルの学習可能な表現を事前訓練された変換器の異なる層に組み込むことで、生成されたテキストを特定の方向にガイドすることができる。
我々は,この技術を体系的に評価し,gem benchmark for natural language generation (nlg) の5つのデータセットに適用する。
我々は、WebNLGを含むいくつかのデータからテキストへのデータセットに対して、最先端の結果を示す。
関連論文リスト
- Controllable Text Generation in the Instruction-Tuning Era [3.310278632293704]
プロンプトベースのアプローチは,ほとんどのデータセットやタスクにおいて,制御可能なテキスト生成方法よりも優れていることがわかった。
制約データセットを自動的に生成するために,タスクデータセットとコンテキスト内機能を備えた大規模言語モデルのみを使用するアルゴリズムを提供する。
論文 参考訳（メタデータ） (2024-05-02T17:24:30Z) - Plug and Play with Prompts: A Prompt Tuning Approach for Controlling Text Generation [16.49758711633611]
大規模言語モデル(LLM)は、テキストベースのプロンプトに応答して、例外的な言語生成能力を示す。
本研究では,制御言語生成におけるPrompt Tuningの利用について検討する。
本稿では, 言語モデルによる有害, 有害, 偏見のあるテキストを緩和する手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-04-08T01:54:28Z) - Harnessing the Plug-and-Play Controller by Prompting [12.705251690623495]
本稿では,事前学習言語モデル(PLM)を用いたテキスト生成におけるフレキシブル属性制御手法を提案する。
提案手法は、生成過程をPPCで導くことにより、生成したテキストの流布率を高めることを目的としている。
論文 参考訳（メタデータ） (2024-02-06T17:18:25Z) - Composable Text Controls in Latent Space with ODEs [97.12426987887021]
本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。
事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。
実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
論文 参考訳（メタデータ） (2022-08-01T06:51:45Z) - Learning to Transfer Prompts for Text Generation [97.64625999380425]
転送可能なテキスト生成のための新しいプロンプトベース手法(PTG)を提案する。
まず、PTGは、様々なソース生成タスクの一連のソースプロンプトを学習し、ターゲット生成タスクを実行するためのターゲットプロンプトとしてこれらのプロンプトを転送する。
広範な実験では、PTGは微調整法よりも競争力または優れた結果が得られる。
論文 参考訳（メタデータ） (2022-05-03T14:53:48Z) - A Survey of Pretrained Language Models Based Text Generation [97.64625999380425]
テキスト生成は、入力データから人間の言語で可読で読みやすいテキストを生成することを目的としている。
ディープラーニングは、ニューラルジェネレーションモデル、特に事前学習言語モデル(PLM)のパラダイムにより、この分野を大幅に進歩させた。
PLM上でのテキスト生成は、学術と産業の両方において有望な方向と見なされている。
論文 参考訳（メタデータ） (2022-01-14T01:44:58Z) - Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。
提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
論文 参考訳（メタデータ） (2021-09-02T16:05:24Z) - Attribute Alignment: Controlling Text Generation from Pre-trained
Language Models [46.19190007510232]
本論文では, テキスト生成を簡便かつ柔軟に制御する手法を提案する。
属性のトークンレベル分布を乱すように識別器を訓練する最近の取り組みとは対照的に、同じデータを用いてアライメント関数を学習し、トレーニング済みの非制御言語モデルを誘導し、元の言語モデルパラメータを変更することなく、ターゲット属性を持つテキストを生成する。
論文 参考訳（メタデータ） (2021-03-20T01:51:32Z) - POINTER: Constrained Progressive Text Generation via Insertion-based
Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。
提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。
結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文 参考訳（メタデータ） (2020-05-01T18:11:54Z) - Exploring the Limits of Transfer Learning with a Unified Text-to-Text
Transformer [64.22926988297685]
下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。
本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
論文 参考訳（メタデータ） (2019-10-23T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。