論文の概要: Self-Adversarial Learning with Comparative Discrimination for Text Generation

• arxiv url: http://arxiv.org/abs/2001.11691v2
• Date: Wed, 12 Feb 2020 09:18:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 05:43:39.959307
• Title: Self-Adversarial Learning with Comparative Discrimination for Text Generation
• Title（参考訳）: テキスト生成における比較識別を用いた自己学習
• Authors: Wangchunshu Zhou, Tao Ge, Ke Xu, Furu Wei, Ming Zhou
• Abstract要約: 本稿では,テキスト生成におけるGANの性能向上のための,新たな自己逆学習(SAL)パラダイムを提案する。 トレーニング中、SALは、現在生成された文が以前生成されたサンプルより優れていると判断されたときにジェネレータに報酬を与える。 テキスト生成ベンチマークデータセットの実験により,提案手法は品質と多様性の両方を大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 111.18614166615968
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional Generative Adversarial Networks (GANs) for text generation tend to have issues of reward sparsity and mode collapse that affect the quality and diversity of generated samples. To address the issues, we propose a novel self-adversarial learning (SAL) paradigm for improving GANs' performance in text generation. In contrast to standard GANs that use a binary classifier as its discriminator to predict whether a sample is real or generated, SAL employs a comparative discriminator which is a pairwise classifier for comparing the text quality between a pair of samples. During training, SAL rewards the generator when its currently generated sentence is found to be better than its previously generated samples. This self-improvement reward mechanism allows the model to receive credits more easily and avoid collapsing towards the limited number of real samples, which not only helps alleviate the reward sparsity issue but also reduces the risk of mode collapse. Experiments on text generation benchmark datasets show that our proposed approach substantially improves both the quality and the diversity, and yields more stable performance compared to the previous GANs for text generation.
• Abstract（参考訳）: テキスト生成のための従来のジェネレーティブ・ジェネレーティブ・アドバイザリアル・ネットワーク(GAN)は、生成したサンプルの品質と多様性に影響を与える報酬の分散とモード崩壊の問題を引き起こす傾向にある。 そこで本研究では,テキスト生成におけるGANの性能向上のための,新たな自己逆学習(SAL)パラダイムを提案する。 サンプルが本物か生成されたかを予測するためにバイナリ分類器を識別器として使用する標準的なGANとは対照的に、SALはサンプルのペア間でテキスト品質を比較するためのペアワイズ分類器である比較判別器を使用している。 トレーニング中、SALは、現在生成された文が以前生成されたサンプルより優れていると判断されたときにジェネレータに報酬を与える。 この自己改善報酬機構により、モデルがより簡単にクレジットを受け取れるようになり、実際のサンプル数が限られているため、報酬のスパーシティ問題を軽減するだけでなく、モード崩壊のリスクを低減できる。 テキスト生成ベンチマークデータセットに関する実験では,提案手法が品質と多様性の両方を大幅に改善し,従来のテキスト生成用gansよりも安定した性能が得られることを示す。

関連論文リスト

• Improving Sampling Methods for Fine-tuning SentenceBERT in Text Streams [49.3179290313959]
  本研究では,選択的な微調整言語モデルの設計した7つのテキストサンプリング手法の有効性について検討した。 これらの手法がSBERTモデルの微調整に与える影響を, 4つの異なる損失関数を用いて正確に評価する。 その結果,テキストストリームの分類にはソフトマックスの損失とバッチ・オール・トリプレットの損失が特に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-18T23:41:52Z)
• Selectively increasing the diversity of GAN-generated samples [8.980453507536017]
  本稿では,GAN生成サンプルの多様性を選択的に向上する手法を提案する。 本研究では,CERN における ALICE 実験のZero Degree Calorimeter から得られたデータをシミュレーションする実生活シナリオとともに,本手法の優位性を示す。
  論文  参考訳（メタデータ） (2022-07-04T16:27:06Z)
• ReSmooth: Detecting and Utilizing OOD Samples when Training with Data Augmentation [57.38418881020046]
  最近のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。 多様性の高い増分戦略は、通常、アウト・オブ・ディストリビューション(OOD)の増分サンプルを導入する。 ReSmoothは、まず、拡張サンプル中のOODサンプルを検知し、それらを活用するフレームワークである。
  論文  参考訳（メタデータ） (2022-05-25T09:29:27Z)
• A Well-Composed Text is Half Done! Composition Sampling for Diverse Conditional Generation [79.98319703471596]
  高品質の条件付き生成のための多種多様な出力を生成するための簡易で効果的な合成サンプリング法であるコンポジションサンプリングを提案する。 これは最近提案された計画ベースのニューラルジェネレーションモデルに基づいて構築され、まず最初に出力の合成を作成し、それと入力を条件付けして生成するように訓練される。
  論文  参考訳（メタデータ） (2022-03-28T21:24:03Z)
• Energy-bounded Learning for Robust Models of Code [16.592638312365164]
  プログラミングでは、コード表現の学習には、コード分類、コード検索、コメント生成、バグ予測など、さまざまなアプリケーションがある。 本稿では,ソースコードモデルのトレーニングプロセスにこれらのアウト・オブ・ディストリビューション・サンプルを組み込むため,エネルギー境界学習目標関数を用いて,イン・ディストリビューション・サンプルにより高いスコアを割り当て,アウト・オブ・ディストリビューション・サンプルに低いスコアを割り当てることを提案する。
  論文  参考訳（メタデータ） (2021-12-20T06:28:56Z)
• Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference [59.62779187457773]
  自然言語推論のための生成型分類器(NLI)を提案する。 差別モデルやBERTのような大規模事前学習言語表現モデルを含む5つのベースラインと比較する。 実験の結果、GenNLIはいくつかの挑戦的なNLI実験環境において差別的ベースラインと事前訓練ベースラインの両方に優れていた。
  論文  参考訳（メタデータ） (2020-10-08T04:44:00Z)
• TextGAIL: Generative Adversarial Imitation Learning for Text Generation [68.3579946817937]
  本稿では,大規模な事前学習言語モデルを用いて,より信頼性の高い報酬ガイダンスを提供するテキスト生成のための生成逆模倣学習フレームワークを提案する。 提案手法では, テキスト生成性能の安定化と向上のために, コントラスト判別器とPPOを用いた。
  論文  参考訳（メタデータ） (2020-04-07T00:24:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。