論文の概要: DuNST: Dual Noisy Self Training for Semi-Supervised Controllable Text Generation

• arxiv url: http://arxiv.org/abs/2212.08724v2
• Date: Wed, 31 May 2023 06:22:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 03:51:05.836490
• Title: DuNST: Dual Noisy Self Training for Semi-Supervised Controllable Text Generation
• Title（参考訳）: DuNST: 半スーパービジョン制御可能なテキスト生成のためのデュアルノイズセルフトレーニング
• Authors: Yuxi Feng, Xiaoyuan Yi, Xiting Wang, Laks V.S. Lakshmanan, Xing Xie
• Abstract要約: ラベル付きデータが不十分な場合、事前学習された言語モデルの微調整を増強することにより、言語理解において再び自己学習(ST)が向上した。 STを属性制御可能な言語生成に組み込むことは依然として困難である。
• 参考スコア（独自算出の注目度）: 34.49194429157166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-training (ST) has prospered again in language understanding by augmenting the fine-tuning of pre-trained language models when labeled data is insufficient. However, it remains challenging to incorporate ST into attribute-controllable language generation. Augmented by only self-generated pseudo text, generation models over-emphasize exploitation of the previously learned space, suffering from a constrained generalization boundary. We revisit ST and propose a novel method, DuNST to alleviate this problem. DuNST jointly models text generation and classification with a shared Variational AutoEncoder and corrupts the generated pseudo text by two kinds of flexible noise to disturb the space. In this way, our model could construct and utilize both pseudo text from given labels and pseudo labels from available unlabeled text, which are gradually refined during the ST process. We theoretically demonstrate that DuNST can be regarded as enhancing exploration towards the potential real text space, providing a guarantee of improved performance. Experiments on three controllable generation tasks show that DuNST could significantly boost control accuracy while maintaining comparable generation fluency and diversity against several strong baselines.
• Abstract（参考訳）: ラベル付きデータが不十分な場合、事前学習された言語モデルの微調整を増強することにより、言語理解において再び成長した。 しかし、STを属性制御可能な言語生成に組み込むことは依然として困難である。 自己生成した擬似テキストのみによって拡張され、生成モデルは制限された一般化境界に苦しむ前に学習された空間の活用を過大に強調する。 我々はSTを再検討し、この問題を緩和する新しい方法DuNSTを提案する。 dunstは共用変分オートエンコーダでテキスト生成と分類をモデル化し、生成された擬似テキストを2種類のフレキシブルノイズで分解して空間を乱す。 このようにして、我々のモデルは、与えられたラベルから擬似テキストと利用可能な無ラベルテキストから擬似ラベルの両方を構築し、利用することができる。 理論的には、DuNSTは潜在的な実テキスト空間への探索の強化であり、性能向上の保証となる。 3つの制御可能な生成タスクの実験は、ダンストがいくつかの強力なベースラインに対して同等の世代流束と多様性を維持しながら、制御精度を著しく向上できることを示した。

関連論文リスト

• Text2Data: Low-Resource Data Generation with Textual Control [104.38011760992637]
  自然言語は、人間が機械とシームレスに対話するための共通かつ直接的な制御信号として機能する。 ラベルのないデータを用いて教師なし拡散モデルを用いて基礎となるデータ分布を理解する新しいアプローチであるText2Dataを提案する。 制御性を確保し、破滅的な忘れを効果的に防止する、新しい制約最適化ベースの学習目標を通じて制御可能な微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• KEST: Kernel Distance Based Efficient Self-Training for Improving Controllable Text Generation [24.47531522553703]
  我々は,これらの問題に対処するための,新規かつ効率的な自己学習フレームワークであるKESTを提案する。 KESTは、標準的なクロスエントロピーではなくカーネルベースの損失を利用して、共有非自己回帰生成器によって生成されたソフトな擬似テキストから学習する。 3つの制御可能な生成タスクの実験により、KESTは、複数の強いベースラインに対して、同等のテキスト流速と生成の多様性を維持しながら、制御精度を著しく向上することを示した。
  論文  参考訳（メタデータ） (2023-06-17T19:40:57Z)
• Click: Controllable Text Generation with Sequence Likelihood Contrastive Learning [69.35360098882606]
  制御可能なテキスト生成のためのClickを導入し、モデルアーキテクチャを変更する必要はない。 シークエンス確率は対照的な損失を伴い、負のサンプルの生成確率を根本的に低下させる。 また、モデル世代から対照的なサンプルを構築するための、新しいランキングベースの戦略も採用している。
  論文  参考訳（メタデータ） (2023-06-06T01:56:44Z)
• Tractable Control for Autoregressive Language Generation [82.79160918147852]
  本稿では,自動回帰テキスト生成モデルに語彙制約を課すために,トラクタブル確率モデル(TPM)を提案する。 本稿では,GeLaToが制約付きテキスト生成のための挑戦的ベンチマークにおいて,最先端のパフォーマンスを実現することを示す。 我々の研究は、大きな言語モデルを制御するための新しい道を開き、さらに表現力のあるTPMの開発を動機付けます。
  論文  参考訳（メタデータ） (2023-04-15T00:19:44Z)
• STA: Self-controlled Text Augmentation for Improving Text Classifications [2.9669250132689164]
  自然言語処理(NLP)の分野では,テキスト拡張技術が数多く出現している。 STA(Self-Controlled Text Augmentation)のための最先端手法を提案する。 提案手法は,生成したサンプルが元のテキストのセマンティックな内容を保持することを保証するための自己チェック手順を導入することで,生成過程を厳しく制御する。
  論文  参考訳（メタデータ） (2023-02-24T17:54:12Z)
• FAST: Improving Controllability for Text Generation with Feedback Aware Self-Training [25.75982440355576]
  制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。 NLPの因果推論に関する最近の研究に触発された本論文は、これらの制御符号に基づく条件付きテキスト生成アルゴリズムにおいて、これまで見過ごされていた欠陥を明らかにする。 トレーニングセットにおけるこれらの相関を減少させるための2つの簡単な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T19:00:51Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Controllable Text Generation with Focused Variation [71.07811310799664]
  Focused-Variation Network (FVN) は言語生成を制御する新しいモデルである。 FVNは、コードブック内の各属性に対する非結合なラテント空間を学習し、制御性と多様性の両方を可能にする。 我々は、注釈付きコンテンツとスタイルを持つ2つのテキスト生成データセット上でFVNを評価し、自動評価と人的評価により、最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2020-09-25T06:31:06Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。