論文の概要: Controllable Natural Language Generation with Contrastive Prefixes

• arxiv url: http://arxiv.org/abs/2202.13257v1
• Date: Sun, 27 Feb 2022 00:31:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 15:37:20.575446
• Title: Controllable Natural Language Generation with Contrastive Prefixes
• Title（参考訳）: 対照接頭辞を用いた制御可能な自然言語生成
• Authors: Jing Qian, Li Dong, Yelong Shen, Furu Wei, Weizhu Chen
• Abstract要約: GPT2生成は、自然言語生成を操るために、プレフィックスと呼ばれる小さな属性固有のベクトルのセットを利用する。 単一アスペクト制御のための接頭辞を訓練するための新しい教師なし手法と教師なし手法を提案する。 単一アスペクト制御と多アスペクト制御の両方の実験結果から,提案手法は高い言語的品質を維持しつつ,所望の属性に向かって生成を導くことができることがわかった。
• 参考スコア（独自算出の注目度）: 120.12778570283956
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To guide the generation of large pretrained language models (LM), previous work has focused on directly fine-tuning the language model or utilizing an attribute discriminator. In this work, we propose a novel lightweight framework for controllable GPT2 generation, which utilizes a set of small attribute-specific vectors, called prefixes, to steer natural language generation. Different from prefix-tuning, where each prefix is trained independently, we take the relationship among prefixes into consideration and train multiple prefixes simultaneously. We propose a novel supervised method and also an unsupervised method to train the prefixes for single-aspect control while the combination of these two methods can achieve multi-aspect control. Experimental results on both single-aspect and multi-aspect control show that our methods can guide generation towards the desired attributes while keeping high linguistic quality.
• Abstract（参考訳）: 大規模事前学習型言語モデル(LM)の生成を導くため,従来の研究は,言語モデルを直接微調整したり,属性判別器を利用したりすることに重点を置いてきた。 本稿では,自然言語生成を制御するために,接頭辞と呼ばれる小さな属性特異的ベクター群を利用する,制御可能なgpt2生成のための新しい軽量フレームワークを提案する。 各プレフィックスが独立してトレーニングされるプレフィックスチューニングとは異なり、プレフィックス間の関係を考慮に入れ、同時に複数のプレフィックスをトレーニングする。 本稿では,新しい教師あり法と教師なし法を提案し,これら2つの手法を組み合わせてマルチスペクトル制御を実現する。 単一アスペクト制御と多アスペクト制御の両方の実験結果から,提案手法は高い言語的品質を維持しつつ,所望の属性に向かって生成を導くことができることがわかった。

関連論文リスト

• DECIDER: A Dual-System Rule-Controllable Decoding Framework for Language Generation [57.07295906718989]
  制約付き復号法は,事前学習言語モデル(PLM)が生成するテキストの意味やスタイルを,推論中に特定のターゲット語を用いて制御することを目的としている。 我々は, PLM を制御するためのタスクの完了方法に関するルールをプログラムできる新しい復号化フレームワーク DECIDER を提案する。
  論文  参考訳（メタデータ） (2024-03-04T11:49:08Z)
• Controlled Text Generation with Natural Language Instructions [74.88938055638636]
  InstructCTGは、異なる制約を含む制御されたテキスト生成フレームワークである。 まず、既製のNLPツールと単純な動詞の組み合わせにより、自然文の基本的制約を抽出する。 制約の自然言語記述といくつかの実演を予測することにより、様々な種類の制約を組み込むために、事前訓練された言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-04-27T15:56:34Z)
• An Extensible Plug-and-Play Method for Multi-Aspect Controllable Text Generation [70.77243918587321]
  複数の側面で生成されたテキストを制御するマルチアスペクト制御可能なテキスト生成が注目されている。 干渉に対する理論的な下界を提供し、プレフィックスが挿入される層の数に応じて干渉が増加することを経験的に見出した。 トレーニング可能なゲートを用いてプレフィックスの介入を正規化し、増大する干渉を抑制することを提案する。
  論文  参考訳（メタデータ） (2022-12-19T11:53:59Z)
• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• A Plug-and-Play Method for Controlled Text Generation [38.283313068622085]
  制御言語生成のためのプラグイン・アンド・プレイ復号法を提案する。 このアプローチの単純さにもかかわらず、実際に驚くほどうまく機能しているのが分かります。
  論文  参考訳（メタデータ） (2021-09-20T17:27:03Z)
• SideControl: Controlled Open-domain Dialogue Generation via Additive Side Networks [10.607177634432214]
  そこで我々は,SideControlフレームワークを用いてトランスフォーマーに基づく事前学習言語モデルの生成を制御する手法を提案する。 その結果、SideControlフレームワークは、既存のグラデーションベースや重み付きデコードベースラインよりも、制御性、生成品質、サンプル効率が向上していることがわかった。
  論文  参考訳（メタデータ） (2021-09-05T01:15:26Z)
• Attribute Alignment: Controlling Text Generation from Pre-trained Language Models [46.19190007510232]
  本論文では, テキスト生成を簡便かつ柔軟に制御する手法を提案する。 属性のトークンレベル分布を乱すように識別器を訓練する最近の取り組みとは対照的に、同じデータを用いてアライメント関数を学習し、トレーニング済みの非制御言語モデルを誘導し、元の言語モデルパラメータを変更することなく、ターゲット属性を持つテキストを生成する。
  論文  参考訳（メタデータ） (2021-03-20T01:51:32Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。