論文の概要: OptAGAN: Entropy-based finetuning on text VAE-GAN

• arxiv url: http://arxiv.org/abs/2109.00239v1
• Date: Wed, 1 Sep 2021 08:23:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-02 16:51:57.199587
• Title: OptAGAN: Entropy-based finetuning on text VAE-GAN
• Title（参考訳）: OptAGAN: テキストVAE-GANによるエントロピーに基づく微調整
• Authors: Paolo Tirotta and Stefano Lodi
• Abstract要約: 最近、変分オートエンコーダ(VAE)がリリースされた。 BERTとGPT-2の2つの事前訓練モデルを組み合わせている。 独創的だが、非常に人間らしい文体を創出する。
• 参考スコア（独自算出の注目度）: 1.941730292017383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning through large pre-trained models has changed the landscape of current applications in natural language processing (NLP). Recently Optimus, a variational autoencoder (VAE) which combines two pre-trained models, BERT and GPT-2, has been released, and its combination with generative adversial networks (GANs) has been shown to produce novel, yet very human-looking text. The Optimus and GANs combination avoids the troublesome application of GANs to the discrete domain of text, and prevents the exposure bias of standard maximum likelihood methods. We combine the training of GANs in the latent space, with the finetuning of the decoder of Optimus for single word generation. This approach lets us model both the high-level features of the sentences, and the low-level word-by-word generation. We finetune using reinforcement learning (RL) by exploiting the structure of GPT-2 and by adding entropy-based intrinsically motivated rewards to balance between quality and diversity. We benchmark the results of the VAE-GAN model, and show the improvements brought by our RL finetuning on three widely used datasets for text generation, with results that greatly surpass the current state-of-the-art for the quality of the generated texts.
• Abstract（参考訳）: 大規模事前学習モデルによるトランスファー学習は、自然言語処理(nlp)における現在の応用状況を変えている。 最近、BERTとGPT-2という2つの事前訓練されたモデルを組み合わせた変分オートエンコーダ(VAE)がリリースされた。 Optimus と GAN の組み合わせは、テキストの離散領域への GAN の厄介な適用を回避し、標準の最大可能性法の露出バイアスを防ぐ。 我々は,潜在空間におけるGANの訓練と,単一単語生成のためのOptimusデコーダの微調整を組み合わせる。 この手法により、文の高レベル特徴と低レベルワード・バイ・ワード生成の両方をモデル化できる。 強化学習(rl)を用いて,gpt-2の構造を活用し,エントロピーに基づく本質的報酬を付加することで,品質と多様性のバランスをとる。 我々はvae-ganモデルの結果をベンチマークし、テキスト生成のために広く使われている3つのデータセットについてrlの微調整によってもたらされた改善を示す。

関連論文リスト

• Refining Joint Text and Source Code Embeddings for Retrieval Task with Parameter-Efficient Fine-Tuning [0.0]
  そこで本研究では,それを利用した微調整フレームワークを提案する。 PEFT(Efficient Fine-Tuning)技術。 提案する微調整フレームワークは,最大で0.4%のパラメータをチューニングすることで,コードテキスト検索性能を向上させる可能性を実証した。
  論文  参考訳（メタデータ） (2024-05-07T08:50:25Z)
• LlaMaVAE: Guiding Large Language Model Generation via Continuous Latent Sentence Spaces [1.529963465178546]
  本稿では,表現型エンコーダモデルとデコーダモデル(SentenceT5,LlaMA)とVAEアーキテクチャを組み合わせたLlaMaVAEを提案する。 実験の結果、LlaMaVAEは従来の最先端のVAE言語モデルであるOptimusよりも、様々なタスクで優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-20T17:25:23Z)
• BatGPT: A Bidirectional Autoregessive Talker from Generative Pre-trained Transformer [77.28871523946418]
  BatGPTは武漢大学と上海江東大学が共同で設計・訓練した大規模言語モデルである。 テキストプロンプト、画像、オーディオなど、さまざまなタイプの入力に応答して、非常に自然で、流動的なテキストを生成することができる。
  論文  参考訳（メタデータ） (2023-07-01T15:10:01Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Leveraging Pre-trained Models for Failure Analysis Triplets Generation [0.0]
  我々は、故障解析トリプレット(FAT)を生成する下流タスクにおいて、トランスフォーマーモデルのような事前訓練された因果言語モデルの注意機構を活用する。 生成事前学習型変換器2(GPT2)は、故障解析三重項生成(FATG)タスクにおいて、他の変換器モデルよりも優れていた。 特に, GPT2(1.5Bパラメータで学習)は, ROUGEにおいて, トレーニング済みBERT, BART, GPT3よりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-10-31T17:21:15Z)
• Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
  空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。 この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。 提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-27T15:04:00Z)
• Cycle-Consistent Inverse GAN for Text-to-Image Synthesis [101.97397967958722]
  本稿では,テキスト・ツー・イメージ・ジェネレーションとテキスト・ガイドによる画像操作を行うために,Cycle-Consistent Inverse GANの統一フレームワークを提案する。 我々は、GANの反転モデルを学び、画像をGANの潜在空間に変換し、各画像の反転潜在符号を得る。 テキスト誘導最適化モジュールでは、反転潜在符号を最適化することにより、所望のセマンティック属性を持つ画像を生成する。
  論文  参考訳（メタデータ） (2021-08-03T08:38:16Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Optimus: Organizing Sentences via Pre-trained Modeling of a Latent Space [109.79957125584252]
  変分オートエンコーダ(VAE)は、強力な生成モデルであり、自然言語の効果的な表現学習フレームワークである。 本稿では,最初の大規模言語VAEモデルであるOptimusを提案する。
  論文  参考訳（メタデータ） (2020-04-05T06:20:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。