論文の概要: Controlled Text Generation with Hidden Representation Transformations
- arxiv url: http://arxiv.org/abs/2305.19230v2
- Date: Wed, 31 May 2023 17:27:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 11:39:36.209007
- Title: Controlled Text Generation with Hidden Representation Transformations
- Title(参考訳): 隠れ表現変換を用いたテキスト生成制御
- Authors: Vaibhav Kumar, Hana Koorehdavoudi, Masud Moshtaghi, Amita Misra, Ankit
Chadha, Emilio Ferrara
- Abstract要約: CHRTは、特定の属性(毒性など)に関連するテキストを生成するために、大きな言語モデルを操縦する
コントラスト学習フレームワークを使ってこれらの変換を学習し、それを組み合わせてマルチ属性制御を実現します。
CHRTは、解毒、ポジティブな感情のステアリング、テキストの単純化といったタスクにおいて、すべてのベースラインを上回ります。
- 参考スコア(独自算出の注目度): 12.576140288264835
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose CHRT (Control Hidden Representation Transformation) - a controlled
language generation framework that steers large language models to generate
text pertaining to certain attributes (such as toxicity). CHRT gains attribute
control by modifying the hidden representation of the base model through
learned transformations. We employ a contrastive-learning framework to learn
these transformations that can be combined to gain multi-attribute control. The
effectiveness of CHRT is experimentally shown by comparing it with seven
baselines over three attributes. CHRT outperforms all the baselines in the task
of detoxification, positive sentiment steering, and text simplification while
minimizing the loss in linguistic qualities. Further, our approach has the
lowest inference latency of only 0.01 seconds more than the base model, making
it the most suitable for high-performance production environments. We
open-source our code and release two novel datasets to further propel
controlled language generation research.
- Abstract(参考訳): 提案するCHRT(Control Hidden Representation Transformation)は,大規模言語モデルを用いて特定の属性(毒性など)に関連するテキストを生成する制御言語生成フレームワークである。
CHRTは、学習された変換を通じてベースモデルの隠れ表現を変更することで属性制御を得る。
コントラスト学習フレームワークを用いてこれらの変換を学習し、それを組み合わせてマルチ属性制御を実現する。
CHRTの有効性は、3つの属性に対して7つのベースラインと比較することによって実験的に示される。
CHRTは、言語品質の損失を最小限に抑えながら、解毒、ポジティブな感情ステアリング、テキストの単純化といったタスクにおいて、すべてのベースラインを上回ります。
さらに,本手法はベースモデルよりも0.01秒遅れの低い推論レイテンシを持ち,高性能な実運用環境に最も適している。
コードをオープンソース化し、2つの新しいデータセットをリリースし、制御された言語生成の研究をさらに推進します。
関連論文リスト
- Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。
SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。
我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
論文 参考訳(メタデータ) (2023-11-03T00:17:08Z) - KEST: Kernel Distance Based Efficient Self-Training for Improving
Controllable Text Generation [24.47531522553703]
我々は,これらの問題に対処するための,新規かつ効率的な自己学習フレームワークであるKESTを提案する。
KESTは、標準的なクロスエントロピーではなくカーネルベースの損失を利用して、共有非自己回帰生成器によって生成されたソフトな擬似テキストから学習する。
3つの制御可能な生成タスクの実験により、KESTは、複数の強いベースラインに対して、同等のテキスト流速と生成の多様性を維持しながら、制御精度を著しく向上することを示した。
論文 参考訳(メタデータ) (2023-06-17T19:40:57Z) - Click: Controllable Text Generation with Sequence Likelihood Contrastive
Learning [69.35360098882606]
制御可能なテキスト生成のためのClickを導入し、モデルアーキテクチャを変更する必要はない。
シークエンス確率は対照的な損失を伴い、負のサンプルの生成確率を根本的に低下させる。
また、モデル世代から対照的なサンプルを構築するための、新しいランキングベースの戦略も採用している。
論文 参考訳(メタデータ) (2023-06-06T01:56:44Z) - Code-Switching Text Generation and Injection in Mandarin-English ASR [57.57570417273262]
業界で広く使われているストリーミングモデルTransformer-Transducer(T-T)の性能向上のためのテキスト生成とインジェクションについて検討する。
まず、コードスイッチングテキストデータを生成し、テキスト-to-Speech(TTS)変換または暗黙的に音声とテキストの潜在空間を結び付けることによって、T-Tモデルに生成されたテキストを明示的に注入する戦略を提案する。
実際のマンダリン・イングリッシュ音声の1,800時間を含むデータセットを用いて訓練したT-Tモデルの実験結果から,生成したコードスイッチングテキストを注入する手法により,T-Tモデルの性能が著しく向上することが示された。
論文 参考訳(メタデータ) (2023-03-20T09:13:27Z) - FAST: Improving Controllability for Text Generation with Feedback Aware
Self-Training [25.75982440355576]
制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。
NLPの因果推論に関する最近の研究に触発された本論文は、これらの制御符号に基づく条件付きテキスト生成アルゴリズムにおいて、これまで見過ごされていた欠陥を明らかにする。
トレーニングセットにおけるこれらの相関を減少させるための2つの簡単な手法を提案する。
論文 参考訳(メタデータ) (2022-10-06T19:00:51Z) - XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems
to Improve Language Understanding [73.24847320536813]
本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。
我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
論文 参考訳(メタデータ) (2022-04-15T03:44:00Z) - Incorporating Linguistic Knowledge for Abstractive Multi-document
Summarization [20.572283625521784]
ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。
依存関係情報を言語誘導型注意機構に処理する。
言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
論文 参考訳(メタデータ) (2021-09-23T08:13:35Z) - SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。
既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
論文 参考訳(メタデータ) (2021-01-02T01:15:57Z) - GeDi: Generative Discriminator Guided Sequence Generation [53.15651536569169]
本稿では,より小さなLMを生成的識別器として利用し,大規模なLMから生成を誘導する効率的な方法としてGeDiを提案する。
GeDiは最先端技術よりも制御性が強く,生成速度も30倍以上に向上することがわかった。
論文 参考訳(メタデータ) (2020-09-14T17:45:36Z) - Control, Generate, Augment: A Scalable Framework for Multi-Attribute
Text Generation [22.70189685469752]
我々は条件付きVAEアーキテクチャであるCGAを導入し、テキストを制御、生成、拡張する。
アブレーション研究において,個々のモデル成分の値を示す。
生成した文の質,多様性,属性の制御を,一連の自動評価および人的評価を通じて示す。
論文 参考訳(メタデータ) (2020-04-30T17:31:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。