論文の概要: Tailor: A Prompt-Based Approach to Attribute-Based Controlled Text Generation

• arxiv url: http://arxiv.org/abs/2204.13362v1
• Date: Thu, 28 Apr 2022 09:09:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-29 23:12:26.413479
• Title: Tailor: A Prompt-Based Approach to Attribute-Based Controlled Text Generation
• Title（参考訳）: Tailor: 属性ベースの制御されたテキスト生成のためのプロンプトベースのアプローチ
• Authors: Kexin Yang, Dayiheng Liu, Wenqiang Lei, Baosong Yang, Mingfeng Xue, Boxing Chen, Jun Xie
• Abstract要約: 属性ベースの制御テキスト生成(CTG)とは、望ましい属性を満たす文を生成することを指す。 本論文では,各属性を事前学習された連続ベクトル(すなわち単一属性プロンプト)として表現し,固定されたPLMスイッチの生成を事前特定属性に導くタイラーを提案する。 11の属性固有の生成タスクの実験は、シングル属性とマルチ属性のCTGにおいて、タイラーの強い性能を示し、GPT-2のトレーニングパラメータは0.08%である。
• 参考スコア（独自算出の注目度）: 47.09041767447308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attribute-based Controlled Text Generation (CTG) refers to generating sentences that satisfy desirable attributes (e.g., emotions and topics). Existing works often utilize fine-tuning or resort to extra attribute classifiers, yet suffer from storage and inference time increases. To address these concerns, we explore attribute-based CTG in a prompt-based manner. In short, the proposed Tailor represents each attribute as a pre-trained continuous vector (i.e., single-attribute prompt) and guides the generation of a fixed PLM switch to a pre-specified attribute. We experimentally find that these prompts can be simply concatenated as a whole to multi-attribute CTG without any re-training, yet raises problems of fluency decrease and position sensitivity. To this end, Tailor provides a multi-attribute prompt mask and a re-indexing position-ids sequence to bridge the gap between the training (one prompt for each task) and testing stage (concatenating more than one prompt). To further enhance such single-attribute prompt combinations, Tailor also introduces a trainable prompt connector, which can be concatenated with any two single-attribute prompts to multi-attribute text generation. Experiments on 11 attribute-specific generation tasks demonstrate strong performances of Tailor on both single-attribute and multi-attribute CTG, with 0.08\% training parameters of a GPT-2.
• Abstract（参考訳）: 属性ベース制御テキスト生成(ctg)は、望ましい属性(例えば感情や話題)を満たす文を生成することを指す。 既存の作品では、細かなチューニングや追加の属性分類を行うことが多いが、ストレージや推論時間の増加に苦しむ。 これらの問題に対処するために,属性に基づくCTGを即時的に探索する。 要するに、提案されたtailorは、各属性を事前学習された連続ベクトル(すなわち、単一属性プロンプト)として表現し、固定されたplmスイッチの生成を予め指定された属性に導く。 実験により,これらのプロンプトは再訓練することなく,多属性ctgに単純に連結できるが,フラレンシ低下や位置感度の問題を引き起こすことが判明した。 この目的のために、tailorはマルチアトリビュートプロンプトマスクと再インデックス位置idsシーケンスを提供し、トレーニング(各タスクのプロンプト)とテストステージ(複数のプロンプトを連結する)の間のギャップを埋める。 このようなシングルアトリビュートプロンプトの組み合わせをさらに強化するために、Talor氏は、マルチアトリビュートテキスト生成への2つのシングルアトリビュートプロンプトと結合可能な、トレーニング可能なプロンプトコネクタも導入している。 11の属性固有の生成タスクの実験は、シングル属性とマルチ属性のCTGに対して、GPT-2の0.08\%のトレーニングパラメータで、Tailorの強い性能を示す。

関連論文リスト

• SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [93.94454894142413]
  SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。 SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。 様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
  論文  参考訳（メタデータ） (2024-05-24T13:35:56Z)
• Multi-Prompts Learning with Cross-Modal Alignment for Attribute-based Person Re-Identification [18.01407937934588]
  本稿では,素早い学習と言語モデルに基づくMP-ReID(Multi-Prompts ReID)という新しいフレームワークを提案する。 MP-ReIDは、クエリイメージを記述するために、多様で情報的、即応的な文を幻覚させることを学ぶ。 明示的なプロンプトは、ChatGPTやVQAモデルといった世代モデルをアンサンブルすることで得られる。
  論文  参考訳（メタデータ） (2023-12-28T03:00:19Z)
• Air-Decoding: Attribute Distribution Reconstruction for Decoding-Time Controllable Text Generation [58.911255139171075]
  制御可能なテキスト生成(CTG)は、望ましい属性を持つテキストを生成することを目的としている。 本研究では,Air-Decoding という新しい軽量デコーディングフレームワークを提案する。 提案手法は,新しい最先端制御性能を実現する。
  論文  参考訳（メタデータ） (2023-10-23T12:59:11Z)
• MACSum: Controllable Summarization with Mixed Attributes [56.685735509260276]
  MACSumは、混合属性を制御するための最初の人間アノテーションによる要約データセットである。 混合制御可能な要約の新しいタスクに対する2つの単純かつ効果的なパラメータ効率のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-09T17:17:37Z)
• DisCup: Discriminator Cooperative Unlikelihood Prompt-tuning for Controllable Text Generation [6.844825905212349]
  本稿では,識別器の属性知識を取り入れた新しいCTG手法であるDisCupを提案する。 DisCupは、約10の仮想トークンに頼るだけで、効率的で高品質なテキスト生成を維持しながら、新しい最先端の制御性能を実現することができる。
  論文  参考訳（メタデータ） (2022-10-18T02:59:06Z)
• Composable Text Controls in Latent Space with ODEs [97.12426987887021]
  本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。 事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。 実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
  論文  参考訳（メタデータ） (2022-08-01T06:51:45Z)
• Controllable Dialogue Generation with Disentangled Multi-grained Style Specification and Attribute Consistency Reward [47.96949534259019]
  マルチ属性制約下で応答生成を行うための制御可能な対話生成モデルを提案する。 一般的に使用される制御属性を,応答生成に対する影響の粒度が異なる大域的および局所的な属性に分類する。 我々のモデルは、応答品質、コンテンツ多様性、制御性の観点から、競争ベースラインを大幅に上回ることができる。
  論文  参考訳（メタデータ） (2021-09-14T14:29:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。