論文の概要: Meta-CoTGAN: A Meta Cooperative Training Paradigm for Improving Adversarial Text Generation

• arxiv url: http://arxiv.org/abs/2003.11530v1
• Date: Thu, 12 Mar 2020 04:47:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 13:11:43.339921
• Title: Meta-CoTGAN: A Meta Cooperative Training Paradigm for Improving Adversarial Text Generation
• Title（参考訳）: Meta-CoTGAN: 対訳テキスト生成改善のためのメタ協調学習パラダイム
• Authors: Haiyan Yin, Dingcheng Li, Xu Li, Ping Li
• Abstract要約: 生成的敵モデルがテキスト生成タスクに広く適用されている。 対向発電機は、従来の最大可能性アプローチによって経験される露光バイアスを軽減する。 本稿では,効率よくモード崩壊を加速させることにより,対向テキスト生成の性能向上を目的とした新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 24.46198850268219
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training generative models that can generate high-quality text with sufficient diversity is an important open problem for Natural Language Generation (NLG) community. Recently, generative adversarial models have been applied extensively on text generation tasks, where the adversarially trained generators alleviate the exposure bias experienced by conventional maximum likelihood approaches and result in promising generation quality. However, due to the notorious defect of mode collapse for adversarial training, the adversarially trained generators face a quality-diversity trade-off, i.e., the generator models tend to sacrifice generation diversity severely for increasing generation quality. In this paper, we propose a novel approach which aims to improve the performance of adversarial text generation via efficiently decelerating mode collapse of the adversarial training. To this end, we introduce a cooperative training paradigm, where a language model is cooperatively trained with the generator and we utilize the language model to efficiently shape the data distribution of the generator against mode collapse. Moreover, instead of engaging the cooperative update for the generator in a principled way, we formulate a meta learning mechanism, where the cooperative update to the generator serves as a high level meta task, with an intuition of ensuring the parameters of the generator after the adversarial update would stay resistant against mode collapse. In the experiment, we demonstrate our proposed approach can efficiently slow down the pace of mode collapse for the adversarial text generators. Overall, our proposed method is able to outperform the baseline approaches with significant margins in terms of both generation quality and diversity in the testified domains.
• Abstract（参考訳）: 十分な多様性を持つ高品質なテキストを生成することができる生成モデルの訓練は、自然言語生成(NLG)コミュニティにとって重要な課題である。 近年,テキスト生成タスクにおいて,従来の最大ラキシブルアプローチが経験する露光バイアスを回避し,将来性のある生成品質が得られるような生成モデルが広く適用されている。 しかし、敵対的訓練のためのモード崩壊の悪名高い欠陥のために、敵対的に訓練されたジェネレータは品質の多様性のトレードオフに直面し、ジェネレータモデルは世代品質を上げるために生成の多様性を犠牲にしがちである。 本稿では,対人訓練のモード崩壊を効率的に高速化することで,対人テキスト生成の性能向上を目的とした新しいアプローチを提案する。 そこで我々は,言語モデルとジェネレータを協調的に学習する協調学習パラダイムを導入し,生成器のデータ分布をモード崩壊に対して効率的に形成するために言語モデルを利用する。 さらに、ジェネレータの協調更新を原則的に行う代わりに、ジェネレータへの協調更新が高レベルメタタスクとして機能するメタ学習機構を定式化し、敵対的更新後のジェネレータのパラメータがモード崩壊に対して耐性を持つようにする。 実験では,提案手法により,逆テキスト生成器のモード崩壊の速度を効果的に遅くできることを示す。 提案手法は, 検証された領域における生成品質と多様性の両面において, かなりの差で, ベースラインアプローチを上回り得る。

関連論文リスト

• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Enhancing Text Generation with Cooperative Training [23.971227375706327]
  ほとんどの一般的な方法は、別々に生成的および差別的なモデルを訓練し、互いに変化に適応できなかった。 本稿では,識別器とジェネレータをクローズドループで協調的に学習するテキスト分野におけるテキスト自己一貫性学習フレームワークを提案する。 我々のフレームワークは、モード崩壊や非収束といったトレーニングの不安定さを軽減することができる。
  論文  参考訳（メタデータ） (2023-03-16T04:21:19Z)
• Joint Generator-Ranker Learning for Natural Language Generation [99.16268050116717]
  JGRは、ジェネレータとローダを単一のフレームワークに統合する、新しいジョイントトレーニングアルゴリズムである。 ジェネレータとランク装置を反復的に更新することにより、JGRは学習を効果的に調和させ、共同で品質を高めることができる。
  論文  参考訳（メタデータ） (2022-06-28T12:58:30Z)
• $\textit{latent}$-GLAT: Glancing at Latent Variables for Parallel Text Generation [65.29170569821093]
  並列テキスト生成は、ジェネレーション効率の成功により、広く注目を集めています。 本稿では,単語分類情報を取得するために,離散潜在変数を用いた$textitlatent$-GLATを提案する。 実験結果から,本手法は自己回帰モデルを用いることなく,強いベースラインを達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T07:34:12Z)
• PLANET: Dynamic Content Planning in Autoregressive Transformers for Long-form Text Generation [47.97523895218194]
  本稿では,自己回帰型自己認識機構を利用してコンテンツ計画と表面実現を動的に行う新しい生成フレームワークを提案する。 本フレームワークは,単語のバッグをベースとした文レベルのセマンティックプランを維持するために,トランスフォーマーデコーダを潜在表現で強化する。
  論文  参考訳（メタデータ） (2022-03-17T05:52:35Z)
• Generative Cooperative Networks for Natural Language Generation [25.090455367573988]
  本稿では,リアルテキストのサンプルを出力する生成ポリシーとともに,識別器アーキテクチャを協調的に使用する生成協調ネットワークについて紹介する。 我々は,提案手法の収束を理論的に保証し,2つの主要なNLGタスクにおいて,最先端の成果を実証的に達成するための様々な効率的な復号化手法について検討する。
  論文  参考訳（メタデータ） (2022-01-28T18:36:57Z)
• Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
  本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。 我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。 質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-21T13:04:21Z)
• Learning Implicit Text Generation via Feature Matching [31.782724169557703]
  生成的特徴マッチングネットワーク(GFMN)は、画像の暗黙的生成モデルを訓練するためのアプローチである。 逐次データに有効な新しいGFMNの定式化を提案する。
  論文  参考訳（メタデータ） (2020-05-07T16:16:24Z)
• Improving Adversarial Text Generation by Modeling the Distant Future [155.83051741029732]
  テキスト計画手法を考察し、上記の問題を緩和するためのモデルに基づく模倣学習手法を提案する。 本稿では,より長い地平線上の生成過程に焦点をあてる新しいガイドネットワークを提案する。
  論文  参考訳（メタデータ） (2020-05-04T05:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。