論文の概要: Controlled Text Generation with Hidden Representation Transformations

• arxiv url: http://arxiv.org/abs/2305.19230v2
• Date: Wed, 31 May 2023 17:27:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 11:39:36.209007
• Title: Controlled Text Generation with Hidden Representation Transformations
• Title（参考訳）: 隠れ表現変換を用いたテキスト生成制御
• Authors: Vaibhav Kumar, Hana Koorehdavoudi, Masud Moshtaghi, Amita Misra, Ankit Chadha, Emilio Ferrara
• Abstract要約: CHRTは、特定の属性(毒性など)に関連するテキストを生成するために、大きな言語モデルを操縦する コントラスト学習フレームワークを使ってこれらの変換を学習し、それを組み合わせてマルチ属性制御を実現します。 CHRTは、解毒、ポジティブな感情のステアリング、テキストの単純化といったタスクにおいて、すべてのベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 12.576140288264835
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose CHRT (Control Hidden Representation Transformation) - a controlled language generation framework that steers large language models to generate text pertaining to certain attributes (such as toxicity). CHRT gains attribute control by modifying the hidden representation of the base model through learned transformations. We employ a contrastive-learning framework to learn these transformations that can be combined to gain multi-attribute control. The effectiveness of CHRT is experimentally shown by comparing it with seven baselines over three attributes. CHRT outperforms all the baselines in the task of detoxification, positive sentiment steering, and text simplification while minimizing the loss in linguistic qualities. Further, our approach has the lowest inference latency of only 0.01 seconds more than the base model, making it the most suitable for high-performance production environments. We open-source our code and release two novel datasets to further propel controlled language generation research.
• Abstract（参考訳）: 提案するCHRT(Control Hidden Representation Transformation)は,大規模言語モデルを用いて特定の属性(毒性など)に関連するテキストを生成する制御言語生成フレームワークである。 CHRTは、学習された変換を通じてベースモデルの隠れ表現を変更することで属性制御を得る。 コントラスト学習フレームワークを用いてこれらの変換を学習し、それを組み合わせてマルチ属性制御を実現する。 CHRTの有効性は、3つの属性に対して7つのベースラインと比較することによって実験的に示される。 CHRTは、言語品質の損失を最小限に抑えながら、解毒、ポジティブな感情ステアリング、テキストの単純化といったタスクにおいて、すべてのベースラインを上回ります。 さらに,本手法はベースモデルよりも0.01秒遅れの低い推論レイテンシを持ち,高性能な実運用環境に最も適している。 コードをオープンソース化し、2つの新しいデータセットをリリースし、制御された言語生成の研究をさらに推進します。

関連論文リスト

• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Controllable Data Augmentation for Few-Shot Text Mining with Chain-of-Thought Attribute Manipulation [35.33340453046864]
  Chain-of-Thought Attribute Manipulation (CoTAM)は、既存の例から新しいデータを生成する新しいアプローチである。 我々は,(1)属性分解,(2)操作提案,(3)文の再構築という3つのステップで,テキストを直接編集するよう促すチェーン・オブ・シントを利用する。
  論文  参考訳（メタデータ） (2023-07-14T00:10:03Z)
• Click: Controllable Text Generation with Sequence Likelihood Contrastive Learning [69.35360098882606]
  制御可能なテキスト生成のためのClickを導入し、モデルアーキテクチャを変更する必要はない。 シークエンス確率は対照的な損失を伴い、負のサンプルの生成確率を根本的に低下させる。 また、モデル世代から対照的なサンプルを構築するための、新しいランキングベースの戦略も採用している。
  論文  参考訳（メタデータ） (2023-06-06T01:56:44Z)
• Code-Switching Text Generation and Injection in Mandarin-English ASR [57.57570417273262]
  業界で広く使われているストリーミングモデルTransformer-Transducer(T-T)の性能向上のためのテキスト生成とインジェクションについて検討する。 まず、コードスイッチングテキストデータを生成し、テキスト-to-Speech(TTS)変換または暗黙的に音声とテキストの潜在空間を結び付けることによって、T-Tモデルに生成されたテキストを明示的に注入する戦略を提案する。 実際のマンダリン・イングリッシュ音声の1,800時間を含むデータセットを用いて訓練したT-Tモデルの実験結果から,生成したコードスイッチングテキストを注入する手法により,T-Tモデルの性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2023-03-20T09:13:27Z)
• FAST: Improving Controllability for Text Generation with Feedback Aware Self-Training [25.75982440355576]
  制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。 NLPの因果推論に関する最近の研究に触発された本論文は、これらの制御符号に基づく条件付きテキスト生成アルゴリズムにおいて、これまで見過ごされていた欠陥を明らかにする。 トレーニングセットにおけるこれらの相関を減少させるための2つの簡単な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T19:00:51Z)
• XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding [73.24847320536813]
  本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。 我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
  論文  参考訳（メタデータ） (2022-04-15T03:44:00Z)
• Incorporating Linguistic Knowledge for Abstractive Multi-document Summarization [20.572283625521784]
  ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。 依存関係情報を言語誘導型注意機構に処理する。 言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
  論文  参考訳（メタデータ） (2021-09-23T08:13:35Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Control, Generate, Augment: A Scalable Framework for Multi-Attribute Text Generation [22.70189685469752]
  我々は条件付きVAEアーキテクチャであるCGAを導入し、テキストを制御、生成、拡張する。 アブレーション研究において,個々のモデル成分の値を示す。 生成した文の質,多様性,属性の制御を,一連の自動評価および人的評価を通じて示す。
  論文  参考訳（メタデータ） (2020-04-30T17:31:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。