論文の概要: Text Generation with Deep Variational GAN

• arxiv url: http://arxiv.org/abs/2104.13488v1
• Date: Tue, 27 Apr 2021 21:42:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-29 13:02:40.741672
• Title: Text Generation with Deep Variational GAN
• Title（参考訳）: 深部変分GANを用いたテキスト生成
• Authors: Mahmoud Hossam, Trung Le, Michael Papasimeon, Viet Huynh, Dinh Phung
• Abstract要約: 原則的アプローチによるモード崩壊問題に対処するために,GANベースのジェネリックフレームワークを提案する。 私たちのモデルは高い多様性で現実的なテキストを生成できることを示します。
• 参考スコア（独自算出の注目度）: 16.3190206770276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating realistic sequences is a central task in many machine learning applications. There has been considerable recent progress on building deep generative models for sequence generation tasks. However, the issue of mode-collapsing remains a main issue for the current models. In this paper we propose a GAN-based generic framework to address the problem of mode-collapse in a principled approach. We change the standard GAN objective to maximize a variational lower-bound of the log-likelihood while minimizing the Jensen-Shanon divergence between data and model distributions. We experiment our model with text generation task and show that it can generate realistic text with high diversity.
• Abstract（参考訳）: 現実的なシーケンスを生成することは、多くの機械学習アプリケーションにおいて中心的なタスクである。 シークエンス生成タスクのための深層生成モデルの構築は、近年かなり進歩している。 しかし、現在のモデルではモード折り畳みの問題が大きな問題となっている。 本稿では,モデム崩壊問題に原則的アプローチで対処するGANベースの汎用フレームワークを提案する。 我々は,データとモデル分布のJensen-Shanon分散を最小化しながら,ログの変動的下界を最大化するために,標準GAN目標を変更する。 テキスト生成タスクを用いて本モデルを実験し,高多様性でリアルテキストを生成可能であることを示す。

関連論文リスト

• Generative Multi-modal Models are Good Class-Incremental Learners [51.5648732517187]
  クラス増分学習のための新しい生成型マルチモーダルモデル(GMM)フレームワークを提案する。 提案手法は適応生成モデルを用いて画像のラベルを直接生成する。 Few-shot CIL設定では、現在の最先端のすべてのメソッドに対して少なくとも14%精度が向上し、忘れてはならない。
  論文  参考訳（メタデータ） (2024-03-27T09:21:07Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Speculative Decoding with Big Little Decoder [108.95187338417541]
  Big Little Decoder (BiLD) は、幅広いテキスト生成アプリケーションの推論効率と遅延を改善するフレームワークである。 NVIDIA T4 GPUでは、当社のフレームワークは最大2.12倍の高速化を実現し、生成品質の最小化を実現している。 私たちのフレームワークは完全にプラグアンドプレイで、トレーニングプロセスやモデルアーキテクチャの変更なしに適用できます。
  論文  参考訳（メタデータ） (2023-02-15T18:55:29Z)
• GENIE: Large Scale Pre-training for Text Generation with Diffusion Model [86.2022500090247]
  GENIEは、Transformerと拡散を組み合わせたシーケンス・ツー・シーケンスのテキスト生成モデルである。 本研究では,拡散モデルの特徴を基礎として,連続段落認知という新しい事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-12-22T13:17:11Z)
• DiffusER: Discrete Diffusion via Edit-based Reconstruction [88.62707047517914]
  DiffusERは、拡散モデルに基づくテキストの編集ベースの生成モデルである。 機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて、自動回帰モデルと競合する可能性がある。 また、標準的な自己回帰モデルに適さないような、他の種類の世代も実行することができる。
  論文  参考訳（メタデータ） (2022-10-30T16:55:23Z)
• Diverse Text Generation via Variational Encoder-Decoder Models with Gaussian Process Priors [21.71928935339393]
  高品質なテキストを生成するための新しい潜在構造変数モデルを提案する。 具体的には、決定論的エンコーダの隠蔽状態をランダムな文脈変数にマッピングする関数を導入する。 ガウス過程の学習課題に対処するために,効率的な変分推論手法を提案する。
  論文  参考訳（メタデータ） (2022-04-04T04:09:15Z)
• Deep Latent-Variable Models for Text Generation [7.119436003155924]
  ディープニューラルネットワークベースのエンドツーエンドアーキテクチャが広く採用されている。 エンドツーエンドのアプローチは、以前は複雑な手作りのルールで設計されていたすべてのサブモジュールを、全体的なエンコード・デコードアーキテクチャに融合させる。 この論文は、テキスト生成のための標準エンコーダデコーダモデルよりも、潜伏変数の深いモデルがいかに改善できるかを示す。
  論文  参考訳（メタデータ） (2022-03-03T23:06:39Z)
• Conditional Generative Modeling via Learning the Latent Space [54.620761775441046]
  マルチモーダル空間における条件生成のための新しい枠組みを提案する。 潜在変数を使って一般化可能な学習パターンをモデル化する。 推論では、潜伏変数は複数の出力モードに対応する最適解を見つけるために最適化される。
  論文  参考訳（メタデータ） (2020-10-07T03:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。