論文の概要: Improving Variational Autoencoder for Text Modelling with Timestep-Wise Regularisation

• arxiv url: http://arxiv.org/abs/2011.01136v2
• Date: Tue, 3 Nov 2020 15:20:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 10:54:24.808202
• Title: Improving Variational Autoencoder for Text Modelling with Timestep-Wise Regularisation
• Title（参考訳）: 時間段階正規化によるテキストモデリングのための変分オートエンコーダの改善
• Authors: Ruizhe Li, Xiao Li, Guanyi Chen, Chenghua Lin
• Abstract要約: 変分オートエンコーダ(VAE)は、テキストモデリングに適用された、多種多様な文を生成する人気かつ強力なモデルである。 しかし、後部崩壊(またはKL損失消滅)と呼ばれる問題は、VAEがテキストモデリングで使用されるときに発生する。 本稿では,TWR-VAE(Timestep-Wise Regularisation VAE)と呼ばれるシンプルな汎用アーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 18.296350505386997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Variational Autoencoder (VAE) is a popular and powerful model applied to text modelling to generate diverse sentences. However, an issue known as posterior collapse (or KL loss vanishing) happens when the VAE is used in text modelling, where the approximate posterior collapses to the prior, and the model will totally ignore the latent variables and be degraded to a plain language model during text generation. Such an issue is particularly prevalent when RNN-based VAE models are employed for text modelling. In this paper, we propose a simple, generic architecture called Timestep-Wise Regularisation VAE (TWR-VAE), which can effectively avoid posterior collapse and can be applied to any RNN-based VAE models. The effectiveness and versatility of our model are demonstrated in different tasks, including language modelling and dialogue response generation.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)は、テキストモデリングに適用された、多種多様な文を生成する人気かつ強力なモデルである。 しかし、後方崩壊(またはkl損失消失)として知られる問題は、テキストモデリングにおいてvaeが使われる際に発生し、近似後方崩壊は以前のものに近く、モデルは潜在変数を完全に無視し、テキスト生成中にプレーン言語モデルに分解される。 このような問題は、RNNベースのVAEモデルがテキストモデリングに使用される場合、特に顕著である。 本稿では,後方崩壊を効果的に回避し,任意のrnnベースのvaeモデルに適用可能な,timestep-wise regularization vae (twr-vae) と呼ばれる簡易な汎用アーキテクチャを提案する。 本モデルの有効性と汎用性は,言語モデリングや対話応答生成など,様々なタスクで実証される。

関連論文リスト

• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• Speculative Decoding with Big Little Decoder [108.95187338417541]
  Big Little Decoder (BiLD) は、幅広いテキスト生成アプリケーションの推論効率と遅延を改善するフレームワークである。 NVIDIA T4 GPUでは、当社のフレームワークは最大2.12倍の高速化を実現し、生成品質の最小化を実現している。 私たちのフレームワークは完全にプラグアンドプレイで、トレーニングプロセスやモデルアーキテクチャの変更なしに適用できます。
  論文  参考訳（メタデータ） (2023-02-15T18:55:29Z)
• DiffusER: Discrete Diffusion via Edit-based Reconstruction [88.62707047517914]
  DiffusERは、拡散モデルに基づくテキストの編集ベースの生成モデルである。 機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて、自動回帰モデルと競合する可能性がある。 また、標準的な自己回帰モデルに適さないような、他の種類の世代も実行することができる。
  論文  参考訳（メタデータ） (2022-10-30T16:55:23Z)
• Evaluation of HTR models without Ground Truth Material [2.4792948967354236]
  手書き文字認識モデルの開発における評価は容易である。 しかし、開発からアプリケーションに切り替えると、評価プロセスはトリッキーになります。 我々は,レキシコンに基づく評価が,レキシコンに基づく手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T01:26:09Z)
• Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
  変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。 情報不足と後部崩壊という2つの課題に悩まされている。 本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
  論文  参考訳（メタデータ） (2021-06-16T06:36:26Z)
• Generative Text Modeling through Short Run Inference [47.73892773331617]
  本研究は、推論のためのショートランダイナミックスを提案し、潜伏変数の以前の分布から変化し、後続分布によって導かれる少数のランゲヴィンダイナミックスステップを実行する。 短絡力学で訓練されたモデルは、強い言語モデルやVAEベースラインと比較して、より正確にデータをモデル化し、後方崩壊の兆候は示さない。
  論文  参考訳（メタデータ） (2021-05-27T09:14:35Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。