論文の概要: FAST: Improving Controllability for Text Generation with Feedback Aware
Self-Training
- arxiv url: http://arxiv.org/abs/2210.03167v1
- Date: Thu, 6 Oct 2022 19:00:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 13:42:34.610536
- Title: FAST: Improving Controllability for Text Generation with Feedback Aware
Self-Training
- Title(参考訳): FAST:フィードバックを考慮した自己学習によるテキスト生成の制御性向上
- Authors: Junyi Chai, Reid Pryzant, Victor Ye Dong, Konstantin Golobokov,
Chenguang Zhu, Yi Liu
- Abstract要約: 制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。
NLPの因果推論に関する最近の研究に触発された本論文は、これらの制御符号に基づく条件付きテキスト生成アルゴリズムにおいて、これまで見過ごされていた欠陥を明らかにする。
トレーニングセットにおけるこれらの相関を減少させるための2つの簡単な手法を提案する。
- 参考スコア(独自算出の注目度): 25.75982440355576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Controllable text generation systems often leverage control codes to direct
various properties of the output like style and length. Inspired by recent work
on causal inference for NLP, this paper reveals a previously overlooked flaw in
these control code-based conditional text generation algorithms. Spurious
correlations in the training data can lead models to incorrectly rely on parts
of the input other than the control code for attribute selection, significantly
undermining downstream generation quality and controllability. We demonstrate
the severity of this issue with a series of case studies and then propose two
simple techniques to reduce these correlations in training sets. The first
technique is based on resampling the data according to an example's propensity
towards each linguistic attribute (IPS). The second produces multiple
counterfactual versions of each example and then uses an additional feedback
mechanism to remove noisy examples (feedback aware self-training, FAST). We
evaluate on 3 tasks -- news headline, meta review, and search ads generation --
and demonstrate that FAST can significantly improve the controllability and
language quality of generated outputs when compared to state-of-the-art
controllable text generation approaches.
- Abstract(参考訳): 制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。
nlpの因果推論に関する最近の研究から着想を得た本論文は、これらの制御コードに基づく条件付きテキスト生成アルゴリズムのこれまで見過ごされていた欠陥を明らかにする。
トレーニングデータの偽相関により、モデルが属性選択のための制御コード以外の入力部分に誤って依存し、下流生成品質と制御性を大幅に損なう可能性がある。
一連のケーススタディでこの問題の深刻度を実証し、トレーニングセットにおけるこれらの相関を減らすための2つの簡単な手法を提案する。
最初のテクニックは、サンプルのそれぞれの言語属性(IPS)に対する適合性に応じてデータを再サンプリングすることに基づいている。
ふたつめは、各例の複数の反事実バージョンを生成し、さらに追加のフィードバックメカニズムを使用して、騒がしい例(フィードバックの自己学習、迅速化)を取り除く。
我々は,ニュースヘッドライン,メタレビュー,検索広告生成の3つのタスクについて評価し,FASTは,最先端の制御可能なテキスト生成手法と比較して,生成した出力の制御性と言語品質を著しく向上させることができることを示した。
関連論文リスト
- LiFi: Lightweight Controlled Text Generation with Fine-Grained Control
Codes [46.74968005604948]
本稿では、制御されたテキスト生成のためのきめ細かい制御を備えた軽量なアプローチであるLIFIを提案する。
我々は、感情制御とトピック制御という従来の2つのタスクと、新たに提案された1つのタスクでLIFIを評価する。
論文 参考訳(メタデータ) (2024-02-10T11:53:48Z) - Text2Data: Low-Resource Data Generation with Textual Control [104.38011760992637]
自然言語は、人間が機械とシームレスに対話するための共通かつ直接的な制御信号として機能する。
ラベルのないデータを用いて教師なし拡散モデルを用いて基礎となるデータ分布を理解する新しいアプローチであるText2Dataを提案する。
制御性を確保し、破滅的な忘れを効果的に防止する、新しい制約最適化ベースの学習目標を通じて制御可能な微調整を行う。
論文 参考訳(メタデータ) (2024-02-08T03:41:39Z) - Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。
SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。
我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
論文 参考訳(メタデータ) (2023-11-03T00:17:08Z) - Air-Decoding: Attribute Distribution Reconstruction for Decoding-Time
Controllable Text Generation [58.911255139171075]
制御可能なテキスト生成(CTG)は、望ましい属性を持つテキストを生成することを目的としている。
本研究では,Air-Decoding という新しい軽量デコーディングフレームワークを提案する。
提案手法は,新しい最先端制御性能を実現する。
論文 参考訳(メタデータ) (2023-10-23T12:59:11Z) - KEST: Kernel Distance Based Efficient Self-Training for Improving
Controllable Text Generation [24.47531522553703]
我々は,これらの問題に対処するための,新規かつ効率的な自己学習フレームワークであるKESTを提案する。
KESTは、標準的なクロスエントロピーではなくカーネルベースの損失を利用して、共有非自己回帰生成器によって生成されたソフトな擬似テキストから学習する。
3つの制御可能な生成タスクの実験により、KESTは、複数の強いベースラインに対して、同等のテキスト流速と生成の多様性を維持しながら、制御精度を著しく向上することを示した。
論文 参考訳(メタデータ) (2023-06-17T19:40:57Z) - Controlled Text Generation with Hidden Representation Transformations [12.576140288264835]
CHRTは、特定の属性(毒性など)に関連するテキストを生成するために、大きな言語モデルを操縦する
コントラスト学習フレームワークを使ってこれらの変換を学習し、それを組み合わせてマルチ属性制御を実現します。
CHRTは、解毒、ポジティブな感情のステアリング、テキストの単純化といったタスクにおいて、すべてのベースラインを上回ります。
論文 参考訳(メタデータ) (2023-05-30T17:21:17Z) - STA: Self-controlled Text Augmentation for Improving Text
Classifications [2.9669250132689164]
自然言語処理(NLP)の分野では,テキスト拡張技術が数多く出現している。
STA(Self-Controlled Text Augmentation)のための最先端手法を提案する。
提案手法は,生成したサンプルが元のテキストのセマンティックな内容を保持することを保証するための自己チェック手順を導入することで,生成過程を厳しく制御する。
論文 参考訳(メタデータ) (2023-02-24T17:54:12Z) - DisCup: Discriminator Cooperative Unlikelihood Prompt-tuning for
Controllable Text Generation [6.844825905212349]
本稿では,識別器の属性知識を取り入れた新しいCTG手法であるDisCupを提案する。
DisCupは、約10の仮想トークンに頼るだけで、効率的で高品質なテキスト生成を維持しながら、新しい最先端の制御性能を実現することができる。
論文 参考訳(メタデータ) (2022-10-18T02:59:06Z) - Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。
同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
論文 参考訳(メタデータ) (2022-05-15T12:58:35Z) - Controllable Text Generation with Focused Variation [71.07811310799664]
Focused-Variation Network (FVN) は言語生成を制御する新しいモデルである。
FVNは、コードブック内の各属性に対する非結合なラテント空間を学習し、制御性と多様性の両方を可能にする。
我々は、注釈付きコンテンツとスタイルを持つ2つのテキスト生成データセット上でFVNを評価し、自動評価と人的評価により、最先端のパフォーマンスを示す。
論文 参考訳(メタデータ) (2020-09-25T06:31:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。