論文の概要: Adding A Filter Based on The Discriminator to Improve Unconditional Text Generation

• arxiv url: http://arxiv.org/abs/2004.02135v5
• Date: Mon, 22 Jun 2020 04:59:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 12:09:12.132131
• Title: Adding A Filter Based on The Discriminator to Improve Unconditional Text Generation
• Title（参考訳）: 非条件テキスト生成を改善するための識別器に基づくフィルタの追加
• Authors: Xingyuan Chen, Ping Cai, Peng Jin, Hongjun Wang, Xinyu Dai, Jiajun Chen
• Abstract要約: 最大最大推定(MLE)で訓練された自己回帰言語モデル(ALM)は、無条件テキスト生成で広く使用されている。 露出バイアスのため、生成されたテキストは依然として品質と多様性の低下に悩まされている。 いくつかの研究は、判別器がこの相違を検知できることを示している。 識別器と同じ入力を持つフィルタを追加することで,新しいメカニズムを提案する。
• 参考スコア（独自算出の注目度）: 35.122864215334836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The autoregressive language model (ALM) trained with maximum likelihood estimation (MLE) is widely used in unconditional text generation. Due to exposure bias, the generated texts still suffer from low quality and diversity. This presents statistically as a discrepancy between the real text and generated text. Some research shows a discriminator can detect this discrepancy. Because the discriminator can encode more information than the generator, discriminator has the potentiality to improve generator. To alleviate the exposure bias, generative adversarial networks (GAN) use the discriminator to update the generator's parameters directly, but they fail by being evaluated precisely. A critical reason for the failure is the difference between the discriminator input and the ALM input. We propose a novel mechanism by adding a filter which has the same input as the discriminator. First, discriminator detects the discrepancy signals and passes to filter directly (or by learning). Then, we use the filter to reject some generated samples with a sampling-based method. Thus, the original generative distribution is revised to reduce the discrepancy. Two ALMs, RNN-based and Transformer-based, are experimented. Evaluated precisely by three metrics, our mechanism consistently outperforms the ALMs and all kinds of GANs across two benchmark data sets.
• Abstract（参考訳）: 最大最大推定(MLE)で訓練された自己回帰言語モデル(ALM)は、無条件テキスト生成で広く使用されている。 露出バイアスのため、生成されたテキストは依然として品質と多様性が低い。 これは、実際のテキストと生成されたテキストの差として統計的に表される。 いくつかの研究は、判別器がこの相違を検知できることを示している。 判別器はジェネレータよりも多くの情報をエンコードできるので、判別器はジェネレータを改善する可能性がある。 露光バイアスを軽減するため、GAN(Generative Adversarial Network)は、判別器を使用してジェネレータのパラメータを直接更新するが、正確に評価することで失敗する。 この故障の重要な理由は、判別器入力とalm入力との差である。 本稿では,識別器と同じ入力を持つフィルタを付加する新しい機構を提案する。 まず、識別器は差分信号を検出し、直接(あるいは学習によって)フィルタリングする。 次に,フィルタを用いてサンプリングベースで生成したサンプルを拒絶する。 これにより、元の生成分布が修正され、相違が軽減される。 RNNベースとTransformerベースという2つのALMが実験されている。 3つの指標で正確に評価し、我々のメカニズムは、2つのベンチマークデータセットでALMと全ての種類のGANを一貫して上回る。

関連論文リスト

• Prompt Optimization via Adversarial In-Context Learning [51.18075178593142]
  adv-ICLは、ジェネレータとディスクリミネータの間の2プレイヤーゲームとして実装される。 ジェネレータは、判別器を騙すのに十分な出力を生成する。 本稿では,Adv-ICLが最先端のプロンプト最適化技術を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:44:45Z)
• Reusing the Task-specific Classifier as a Discriminator: Discriminator-free Adversarial Domain Adaptation [55.27563366506407]
  非教師付きドメイン適応(UDA)のための識別器なし対向学習ネットワーク(DALN)を導入する。 DALNは、統一された目的によって明確なドメインアライメントとカテゴリの区別を達成する。 DALNは、さまざまなパブリックデータセット上の既存の最先端(SOTA)メソッドと比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-04-08T04:40:18Z)
• Re-using Adversarial Mask Discriminators for Test-time Training under Distribution Shifts [10.647970046084916]
  安定判別器の訓練によって表現的損失関数が生成され、推論時に再使用してセグメント化ミスを検出し、修正することができると論じる。 我々は、識別器と画像再構成コストを(デコーダを介して)組み合わせることで、モデルをさらに改善できることを示す。 提案手法は単純で,事前学習したGANの試験時間性能を向上させる。
  論文  参考訳（メタデータ） (2021-08-26T17:31:46Z)
• Revealing the Distributional Vulnerability of Discriminators by Implicit Generators [36.66825830101456]
  ディープ・ニューラル・ラーニングでは、ID(In-Distribution)サンプルで訓練された判別器は、out-of-Distribution(OOD)サンプルで高い信頼度を予測できる。 暗黙的ジェネレータ(FIG)によるイテインチューニング識別器の一般化手法を提案する。 特定のOODサンプルを生成してペナルティ化することにより、IDとOODサンプルを識別する標準的な識別器の能力を向上させる。
  論文  参考訳（メタデータ） (2021-08-23T07:18:50Z)
• Sampling-Decomposable Generative Adversarial Recommender [84.05894139540048]
  サンプル分解可能な生成逆数レコメンダ(SD-GAR)を提案する。 本フレームワークでは, 自己正規化重要度サンプリングにより, 生成元と最適値とのばらつきを補償する。 提案アルゴリズムを5つの実世界のレコメンデーションデータセットを用いて広範囲に評価する。
  論文  参考訳（メタデータ） (2020-11-02T13:19:10Z)
• Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator [85.68825725223873]
  GAN(Generative Adversarial Networks)は、高次元データのモデリングにおいて大きな可能性を秘めている。 本稿では,WGANの識別器の特性を活かした識別器コントラストの多様性について紹介する。 我々は、合成データと実世界の画像生成ベンチマークの両方において、大幅に改善された生成の利点を実証する。
  論文  参考訳（メタデータ） (2020-04-05T01:50:16Z)
• Self-Adversarial Learning with Comparative Discrimination for Text Generation [111.18614166615968]
  本稿では,テキスト生成におけるGANの性能向上のための,新たな自己逆学習(SAL)パラダイムを提案する。 トレーニング中、SALは、現在生成された文が以前生成されたサンプルより優れていると判断されたときにジェネレータに報酬を与える。 テキスト生成ベンチマークデータセットの実験により,提案手法は品質と多様性の両方を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2020-01-31T07:50:25Z)
• Reject Illegal Inputs with Generative Classifier Derived from Any Discriminative Classifier [7.33811357166334]
  Supervised Deep Infomax(M)は、生成型分類器を学習するスケーラブルなエンドツーエンドフレームワークである。 SDIM-emphlogit(SDIM-emphlogit)と呼ばれるSDIMの修正を提案する。
  論文  参考訳（メタデータ） (2020-01-02T15:11:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。