論文の概要: DisCup: Discriminator Cooperative Unlikelihood Prompt-tuning for
Controllable Text Generation
- arxiv url: http://arxiv.org/abs/2210.09551v1
- Date: Tue, 18 Oct 2022 02:59:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 14:30:21.862922
- Title: DisCup: Discriminator Cooperative Unlikelihood Prompt-tuning for
Controllable Text Generation
- Title（参考訳）: DisCup: 制御可能なテキスト生成のための差別的協調型プロンプトチューニング
- Authors: Hanqing Zhang and Dawei Song
- Abstract要約: 本稿では,識別器の属性知識を取り入れた新しいCTG手法であるDisCupを提案する。
DisCupは、約10の仮想トークンに頼るだけで、効率的で高品質なテキスト生成を維持しながら、新しい最先端の制御性能を実現することができる。
- 参考スコア（独自算出の注目度）: 6.844825905212349
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Prompt learning with immensely large Casual Language Models (CLMs) has been
shown promising for attribute-controllable text generation (CTG). However,
vanilla prompt tuning tends to imitate training corpus characteristics beyond
the control attributes, resulting in a poor generalization ability. Moreover,
it is less able to capture the relationship between different attributes,
further limiting the control performance. In this paper, we propose a new CTG
approach, namely DisCup, which incorporates the attribute knowledge of
discriminator to optimize the control-prompts, steering a frozen CLM to produce
attribute-specific texts. Specifically, the frozen CLM model, capable of
producing multitudinous texts, is first used to generate the next-token
candidates based on the context, so as to ensure the diversity of tokens to be
predicted. Then, we leverage an attribute-discriminator to select
desired/undesired tokens from those candidates, providing the inter-attribute
knowledge. Finally, we bridge the above two traits by an unlikelihood objective
for prompt-tuning. Extensive experimental results show that DisCup can achieve
a new state-of-the-art control performance while maintaining an efficient and
high-quality text generation, only relying on around 10 virtual tokens.
- Abstract（参考訳）: 非常に大きなCasual Language Models (CLMs) を用いたプロンプト学習は、属性制御可能なテキスト生成(CTG)に有望であることが示されている。
しかしながら、バニラプロンプトチューニングは、制御属性を超えたトレーニングコーパス特性を模倣しがちであり、一般化能力に乏しい。
さらに、異なる属性間の関係を捉えることができなくなり、さらに制御性能が制限される。
本稿では,識別器の属性知識を活かして制御プロンプトを最適化し,凍結したCLMを操り,属性固有のテキストを生成する,新しいCTG手法であるDisCupを提案する。
具体的には、複数のテキストを生成可能な凍結型CLMモデルを用いて、まず、コンテキストに基づいて次のトークン候補を生成し、トークンの多様性を確実に予測する。
次に,属性識別器を用いて候補から希望/望ましくないトークンを選択し,属性間知識を提供する。
最後に、上記の2つの特徴を、プロンプトチューニングの異なる目的によって橋渡しする。
広範な実験結果から、discupは10個の仮想トークンのみに依存しながら、効率的で高品質なテキスト生成を維持しながら、新たな最先端の制御性能を達成できることが示されている。
関連論文リスト
- SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [68.68025991850115]
SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。
SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。
様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
論文 参考訳（メタデータ） (2024-05-24T13:35:56Z) - Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。
SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。
我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
論文 参考訳（メタデータ） (2023-11-03T00:17:08Z) - Uncovering Prototypical Knowledge for Weakly Open-Vocabulary Semantic
Segmentation [59.37587762543934]
本稿では,弱開語彙セマンティックセマンティックセグメンテーション(WOVSS)の問題点について検討する。
既存の方法は、グループトークンの使用に関する粒度の矛盾に悩まされる。
マルチモーダル正規化を組み込んだプロトタイプ誘導ネットワーク(PGSeg)を提案する。
論文 参考訳（メタデータ） (2023-10-29T13:18:00Z) - Controllable Data Augmentation for Few-Shot Text Mining with Chain-of-Thought Attribute Manipulation [35.33340453046864]
Chain-of-Thought Attribute Manipulation (CoTAM)は、既存の例から新しいデータを生成する新しいアプローチである。
我々は,(1)属性分解,(2)操作提案,(3)文の再構築という3つのステップで,テキストを直接編集するよう促すチェーン・オブ・シントを利用する。
論文 参考訳（メタデータ） (2023-07-14T00:10:03Z) - Scalable Learning of Latent Language Structure With Logical Offline
Cycle Consistency [71.42261918225773]
概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。
追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
論文 参考訳（メタデータ） (2023-05-31T16:47:20Z) - FAST: Improving Controllability for Text Generation with Feedback Aware
Self-Training [25.75982440355576]
制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。
NLPの因果推論に関する最近の研究に触発された本論文は、これらの制御符号に基づく条件付きテキスト生成アルゴリズムにおいて、これまで見過ごされていた欠陥を明らかにする。
トレーニングセットにおけるこれらの相関を減少させるための2つの簡単な手法を提案する。
論文 参考訳（メタデータ） (2022-10-06T19:00:51Z) - Composable Text Controls in Latent Space with ODEs [97.12426987887021]
本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。
事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。
実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
論文 参考訳（メタデータ） (2022-08-01T06:51:45Z) - Tailor: A Prompt-Based Approach to Attribute-Based Controlled Text
Generation [47.09041767447308]
属性ベースの制御テキスト生成(CTG)とは、望ましい属性を満たす文を生成することを指す。
本論文では,各属性を事前学習された連続ベクトル(すなわち単一属性プロンプト)として表現し,固定されたPLMスイッチの生成を事前特定属性に導くタイラーを提案する。
11の属性固有の生成タスクの実験は、シングル属性とマルチ属性のCTGにおいて、タイラーの強い性能を示し、GPT-2のトレーニングパラメータは0.08%である。
論文 参考訳（メタデータ） (2022-04-28T09:09:45Z) - Attribute Alignment: Controlling Text Generation from Pre-trained
Language Models [46.19190007510232]
本論文では, テキスト生成を簡便かつ柔軟に制御する手法を提案する。
属性のトークンレベル分布を乱すように識別器を訓練する最近の取り組みとは対照的に、同じデータを用いてアライメント関数を学習し、トレーニング済みの非制御言語モデルを誘導し、元の言語モデルパラメータを変更することなく、ターゲット属性を持つテキストを生成する。
論文 参考訳（メタデータ） (2021-03-20T01:51:32Z) - Control, Generate, Augment: A Scalable Framework for Multi-Attribute
Text Generation [22.70189685469752]
我々は条件付きVAEアーキテクチャであるCGAを導入し、テキストを制御、生成、拡張する。
アブレーション研究において,個々のモデル成分の値を示す。
生成した文の質,多様性,属性の制御を,一連の自動評価および人的評価を通じて示す。
論文 参考訳（メタデータ） (2020-04-30T17:31:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。