論文の概要: Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation

• arxiv url: http://arxiv.org/abs/2210.12409v1
• Date: Sat, 22 Oct 2022 10:25:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 16:09:35.360800
• Title: Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation
• Title（参考訳）: Recurrenceは多様性を高めます! 変圧器ベース変分自動エンコーダにおける逐次潜時変分の再検討
• Authors: Jinyi Hu, Xiaoyuan Yi, Wenhao Li, Maosong Sun, Xing Xie
• Abstract要約: 変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。 我々はトランスフォーマーをベースとしたリカレントVAE構造であるDelleaを提案する。 条件のない2つのタスクと条件付き1つのタスクの実験は、Delleaが良好な生成品質を維持しながら、多様性を著しく向上することを示している。
• 参考スコア（独自算出の注目度）: 85.5379146125199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variational Auto-Encoder (VAE) has been widely adopted in text generation. Among many variants, recurrent VAE learns token-wise latent variables with each conditioned on the preceding ones, which captures sequential variability better in the era of RNN. However, it is unclear how to incorporate such recurrent dynamics into the recently dominant Transformer due to its parallelism. In this work, we propose DELLA, a Transformer-based recurrent VAE structure. DELLA imposes recurrence on segment-wise latent variables with arbitrarily separated text segments and constructs the posterior distribution with residual parameterization. Besides, we design an acceleration method by approximating idempotent matrices, which allows parallelism while maintaining the conditional dependence of latent variables. We demonstrate that DELLA could enhance the entanglement of each segment and preceding latent variables and deduce a non-zero lower bound of the KL term, providing a theoretical guarantee of generation diversity. Experiments on two unconditional and one conditional generation tasks show that DELLA achieves significantly improved diversity while maintaining satisfactory generation quality.
• Abstract（参考訳）: 変分オートエンコーダ(vae)はテキスト生成に広く採用されている。 多くの変種の中で、recurrent vaeは前の変種で条件付けされたトークン毎の潜在変数を学習し、rnnの時代において逐次変動をよりよく捉える。 しかし、並列性のため、最近支配的なTransformerにそのようなリカレントダイナミクスを組み込む方法は不明である。 本研究では,トランスフォーマーを用いたリカレントVAE構造であるDELLAを提案する。 DELLAは、任意に分離されたテキストセグメントを持つセグメントワイド潜在変数に繰り返しを課し、残留パラメータ化を伴う後続分布を構築する。 さらに,潜在変数の条件依存を保ちながら並列性を実現する等等式行列を近似して加速法を設計する。 dellaが各セグメントと先行する潜在変数の絡み合いを強化し、kl項のゼロでない下界を推定できることを実証し、世代多様性の理論的保証を提供する。 2つの非条件および1つの条件付き生成タスクの実験により、DELLAは良好な生成品質を維持しながら、多様性を著しく向上することが示された。

関連論文リスト

• Towards Diverse, Relevant and Coherent Open-Domain Dialogue Generation via Hybrid Latent Variables [20.66743177460193]
  連続潜伏変数と離散潜伏変数の両方の利点を組み合わせて、ハイブリッド潜伏変数(HLV)法を提案する。 HLVは、離散潜伏変数を通して応答のグローバルな意味を制約し、連続潜伏変数で応答を豊かにする。 さらに, HLV と変換器を併用して対話生成を行うための条件付きハイブリッド変分変換器 (CHVT) を提案する。
  論文  参考訳（メタデータ） (2022-12-02T12:48:01Z)
• Fuse It More Deeply! A Variational Transformer with Layer-Wise Latent Variable Inference for Text Generation [85.5379146125199]
  KLの消滅問題を克服する新しい変分変換器フレームワークを提案する。 提案手法は,遅延変数を絡み合わせることで,層内における後部情報減少を回避することができることを示す。
  論文  参考訳（メタデータ） (2022-07-13T11:27:46Z)
• Interpretable Latent Variables in Deep State Space Models [4.884336328409872]
  我々は、時系列データを予測するために、リカレントニューラルネットワークと状態空間フレームワークを組み合わせたディープステートスペースモデル(DSSM)の新バージョンを導入する。 このモデルは、観測された系列を、時間を通して非線形に進化する潜在変数の関数として推定する。
  論文  参考訳（メタデータ） (2022-03-03T23:10:58Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Relaxed-Responsibility Hierarchical Discrete VAEs [3.976291254896486]
  textitRelaxed-Responsibility Vector-Quantisationを導入する。 我々は、様々な標準データセットに対して、最先端のビット/ディミット結果を得る。
  論文  参考訳（メタデータ） (2020-07-14T19:10:05Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Variational Transformers for Diverse Response Generation [71.53159402053392]
  変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。 VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。 本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
  論文  参考訳（メタデータ） (2020-03-28T07:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。