論文の概要: Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation

• arxiv url: http://arxiv.org/abs/2210.12409v2
• Date: Wed, 26 Oct 2022 12:51:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 14:06:18.041769
• Title: Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation
• Title（参考訳）: Recurrenceは多様性を高めます! 変圧器ベース変分自動エンコーダにおける逐次潜時変分の再検討
• Authors: Jinyi Hu, Xiaoyuan Yi, Wenhao Li, Maosong Sun, Xing Xie
• Abstract要約: 変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。 本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
• 参考スコア（独自算出の注目度）: 85.5379146125199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variational Auto-Encoder (VAE) has been widely adopted in text generation. Among many variants, recurrent VAE learns token-wise latent variables with each conditioned on the preceding ones, which captures sequential variability better in the era of RNN. However, it is unclear how to incorporate such recurrent dynamics into the recently dominant Transformer due to its parallelism. In this work, we propose TRACE, a Transformer-based recurrent VAE structure. TRACE imposes recurrence on segment-wise latent variables with arbitrarily separated text segments and constructs the posterior distribution with residual parameterization. Besides, we design an acceleration method by approximating idempotent matrices, which allows parallelism while maintaining the conditional dependence of latent variables. We demonstrate that TRACE could enhance the entanglement of each segment and preceding latent variables and deduce a non-zero lower bound of the KL term, providing a theoretical guarantee of generation diversity. Experiments on two unconditional and one conditional generation tasks show that TRACE achieves significantly improved diversity while maintaining satisfactory generation quality.
• Abstract（参考訳）: 変分オートエンコーダ(vae)はテキスト生成に広く採用されている。 多くの変種の中で、recurrent vaeは前の変種で条件付けされたトークン毎の潜在変数を学習し、rnnの時代において逐次変動をよりよく捉える。 しかし、並列性のため、最近支配的なTransformerにそのようなリカレントダイナミクスを組み込む方法は不明である。 本研究では,TransformerをベースとしたリカレントVAE構造であるTRACEを提案する。 TRACEは、任意に分離されたテキストセグメントを持つセグメントワイド潜在変数に繰り返しを課し、残留パラメータ化を伴う後続分布を構築する。 さらに,潜在変数の条件依存を保ちながら並列性を実現する等等式行列を近似して加速法を設計する。 我々は、トレースが各セグメントと先行する潜在変数の絡み合いを強化し、kl項のゼロでない下界を推定し、生成の多様性を理論的に保証できることを実証する。 2つの非条件および1つの条件付き生成タスクの実験は、TRACEが良好な生成品質を維持しながら、多様性を著しく向上することを示した。

関連論文リスト

• Protect Before Generate: Error Correcting Codes within Discrete Deep Generative Models [3.053842954605396]
  本稿では,離散潜在変数モデルにおける変分推論を強化する新しい手法を提案する。 我々は誤り訂正符号(ECC)を活用し、潜伏表現に冗長性を導入する。 この冗長性は変分後部によって利用され、より正確な推定値が得られる。
  論文  参考訳（メタデータ） (2024-10-10T11:59:58Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Towards Diverse, Relevant and Coherent Open-Domain Dialogue Generation via Hybrid Latent Variables [20.66743177460193]
  連続潜伏変数と離散潜伏変数の両方の利点を組み合わせて、ハイブリッド潜伏変数(HLV)法を提案する。 HLVは、離散潜伏変数を通して応答のグローバルな意味を制約し、連続潜伏変数で応答を豊かにする。 さらに, HLV と変換器を併用して対話生成を行うための条件付きハイブリッド変分変換器 (CHVT) を提案する。
  論文  参考訳（メタデータ） (2022-12-02T12:48:01Z)
• Fuse It More Deeply! A Variational Transformer with Layer-Wise Latent Variable Inference for Text Generation [85.5379146125199]
  KLの消滅問題を克服する新しい変分変換器フレームワークを提案する。 提案手法は,遅延変数を絡み合わせることで,層内における後部情報減少を回避することができることを示す。
  論文  参考訳（メタデータ） (2022-07-13T11:27:46Z)
• Interpretable Latent Variables in Deep State Space Models [4.884336328409872]
  我々は、時系列データを予測するために、リカレントニューラルネットワークと状態空間フレームワークを組み合わせたディープステートスペースモデル(DSSM)の新バージョンを導入する。 このモデルは、観測された系列を、時間を通して非線形に進化する潜在変数の関数として推定する。
  論文  参考訳（メタデータ） (2022-03-03T23:10:58Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)
• Variational Transformers for Diverse Response Generation [71.53159402053392]
  変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。 VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。 本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
  論文  参考訳（メタデータ） (2020-03-28T07:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。