論文の概要: TextGAIL: Generative Adversarial Imitation Learning for Text Generation

• arxiv url: http://arxiv.org/abs/2004.13796v4
• Date: Mon, 26 Apr 2021 19:32:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 22:53:11.003634
• Title: TextGAIL: Generative Adversarial Imitation Learning for Text Generation
• Title（参考訳）: textgail: テキスト生成のための生成的adversarial imitation learning
• Authors: Qingyang Wu, Lei Li, Zhou Yu
• Abstract要約: 本稿では,大規模な事前学習言語モデルを用いて,より信頼性の高い報酬ガイダンスを提供するテキスト生成のための生成逆模倣学習フレームワークを提案する。 提案手法では, テキスト生成性能の安定化と向上のために, コントラスト判別器とPPOを用いた。
• 参考スコア（独自算出の注目度）: 68.3579946817937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Adversarial Networks (GANs) for text generation have recently received many criticisms, as they perform worse than their MLE counterparts. We suspect previous text GANs' inferior performance is due to the lack of a reliable guiding signal in their discriminators. To address this problem, we propose a generative adversarial imitation learning framework for text generation that uses large pre-trained language models to provide more reliable reward guidance. Our approach uses contrastive discriminator, and proximal policy optimization (PPO) to stabilize and improve text generation performance. For evaluation, we conduct experiments on a diverse set of unconditional and conditional text generation tasks. Experimental results show that TextGAIL achieves better performance in terms of both quality and diversity than the MLE baseline. We also validate our intuition that TextGAIL's discriminator demonstrates the capability of providing reasonable rewards with an additional task.
• Abstract（参考訳）: テキスト生成のためのGAN(Generative Adversarial Networks)は、最近多くの批判を受けてきた。 従来のテキストGANの劣る性能は、識別器に信頼性のある誘導信号がないためと思われる。 この問題に対処するために,大規模な事前学習言語モデルを用いてより信頼性の高い報酬ガイダンスを提供するテキスト生成のための生成逆模倣学習フレームワークを提案する。 提案手法では,テキスト生成性能の安定化と向上のために,コントラスト判別器とPPOを用いた。 評価のために,条件付きおよび条件付きテキスト生成タスクの多岐にわたる実験を行った。 実験の結果, TextGAIL は MLE ベースラインよりも品質, 多様性の両面で優れた性能を示した。 また、TextGAILの識別器が、追加のタスクで合理的な報酬を提供する能力を示すという直感も検証します。

関連論文リスト

• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• KEST: Kernel Distance Based Efficient Self-Training for Improving Controllable Text Generation [24.47531522553703]
  我々は,これらの問題に対処するための,新規かつ効率的な自己学習フレームワークであるKESTを提案する。 KESTは、標準的なクロスエントロピーではなくカーネルベースの損失を利用して、共有非自己回帰生成器によって生成されたソフトな擬似テキストから学習する。 3つの制御可能な生成タスクの実験により、KESTは、複数の強いベースラインに対して、同等のテキスト流速と生成の多様性を維持しながら、制御精度を著しく向上することを示した。
  論文  参考訳（メタデータ） (2023-06-17T19:40:57Z)
• Deliberate then Generate: Enhanced Prompting Framework for Text Generation [70.10319005141888]
  Deliberate then Generate (DTG) プロンプトフレームワークはエラー検出命令とエラーを含む可能性のある候補で構成されている。 我々は、要約、翻訳、対話など、7つのテキスト生成タスクにまたがる20以上のデータセットに関する広範な実験を行う。 本稿では,DTGが既存のプロンプト手法を一貫して上回り,複数のテキスト生成タスクにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-05-31T13:23:04Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Unsupervised Text Generation by Learning from Search [86.51619839836331]
  TGLSは、教師なしテキスト生成のための新しいフレームワークである。 実世界の自然言語生成タスクであるパラフレーズ生成とテキストの形式化におけるTGLSの有効性を示す。
  論文  参考訳（メタデータ） (2020-07-09T04:34:48Z)
• ColdGANs: Taming Language GANs with Cautious Sampling Strategies [29.943949944682196]
  GAN(Generative Adversarial Networks)は制約を緩和するが、テキストの離散性によって言語生成への応用が妨げられている。 古典的なサンプリングが不安定なトレーニングにどのように影響するかを示す。 我々は,サンプルを分散モードに近づけることで,よりスムーズな学習ダイナミックスを実現するGANフレームワークにおいて,代替的な探索戦略を検討することを提案する。 我々の知る限りでは、提案言語 GAN は MLE と好意的に比較され、3つの生成タスクにおける最先端技術の改善が得られた。
  論文  参考訳（メタデータ） (2020-06-08T14:48:14Z)
• Self-Adversarial Learning with Comparative Discrimination for Text Generation [111.18614166615968]
  本稿では,テキスト生成におけるGANの性能向上のための,新たな自己逆学習(SAL)パラダイムを提案する。 トレーニング中、SALは、現在生成された文が以前生成されたサンプルより優れていると判断されたときにジェネレータに報酬を与える。 テキスト生成ベンチマークデータセットの実験により,提案手法は品質と多様性の両方を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2020-01-31T07:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。