論文の概要: Variational Transformers for Diverse Response Generation

• arxiv url: http://arxiv.org/abs/2003.12738v1
• Date: Sat, 28 Mar 2020 07:48:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 23:36:15.283365
• Title: Variational Transformers for Diverse Response Generation
• Title（参考訳）: 多様な応答生成のための変分トランス
• Authors: Zhaojiang Lin, Genta Indra Winata, Peng Xu, Zihan Liu, Pascale Fung
• Abstract要約: 変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。 VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。 本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
• 参考スコア（独自算出の注目度）: 71.53159402053392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the great promise of Transformers in many sequence modeling tasks (e.g., machine translation), their deterministic nature hinders them from generalizing to high entropy tasks such as dialogue response generation. Previous work proposes to capture the variability of dialogue responses with a recurrent neural network (RNN)-based conditional variational autoencoder (CVAE). However, the autoregressive computation of the RNN limits the training efficiency. Therefore, we propose the Variational Transformer (VT), a variational self-attentive feed-forward sequence model. The VT combines the parallelizability and global receptive field of the Transformer with the variational nature of the CVAE by incorporating stochastic latent variables into Transformers. We explore two types of the VT: 1) modeling the discourse-level diversity with a global latent variable; and 2) augmenting the Transformer decoder with a sequence of fine-grained latent variables. Then, the proposed models are evaluated on three conversational datasets with both automatic metric and human evaluation. The experimental results show that our models improve standard Transformers and other baselines in terms of diversity, semantic relevance, and human judgment.
• Abstract（参考訳）: 多くのシーケンスモデリングタスク(例えば機械翻訳)におけるトランスフォーマーの大きな期待にもかかわらず、その決定論的性質は対話応答生成のような高いエントロピータスクへの一般化を妨げる。 従来の研究は、リカレントニューラルネットワーク(RNN)ベースの条件変分オートエンコーダ(CVAE)による対話応答の変動を捉えることを提案した。 しかし、RNNの自己回帰計算は訓練効率を制限している。 そこで本研究では,変分自己注意フィードフォワードシーケンスモデルである変分変換器(VT)を提案する。 VTは、Transformerの並列化性と大域的受容場とCVAEの変動特性を、確率的潜在変数をTransformerに組み込むことで結合する。 VTの2つのタイプを探索する。 1)グローバル潜在変数を用いた談話レベルの多様性のモデル化 2)細粒度の潜在変数列によるトランスフォーマデコーダの強化。 そして,提案手法を3つの対話データセット上で自動計測と人的評価で評価する。 実験の結果, 標準トランスフォーマーや他のベースラインを, 多様性, 意味的関連性, 人的判断の観点から改善した。

関連論文リスト

• Investigating Recurrent Transformers with Dynamic Halt [64.862738244735]
  本研究では, 変圧器の繰り返し機構を付加する2つの主要な手法の帰納バイアスについて検討する。 提案手法を拡張・結合する新しい手法を提案し,検討する。
  論文  参考訳（メタデータ） (2024-02-01T19:47:31Z)
• GIVT: Generative Infinite-Vocabulary Transformers [18.55070896912795]
  実数値エントリを持つベクトル列を生成するGIVT(Generative Infinite-Vocabulary Transformers)を導入する。 VQ-GANとMaskGITの画像生成パラダイムにインスパイアされた私たちは、GIVTを使って、$beta$-VAEの未定量実数値列をモデル化する。 クラス条件画像生成におけるGIVTは、VQ-GANやMaskGITよりも優れ、近年の潜伏拡散モデルと競合する性能を実現する。
  論文  参考訳（メタデータ） (2023-12-04T18:48:02Z)
• Towards Diverse, Relevant and Coherent Open-Domain Dialogue Generation via Hybrid Latent Variables [20.66743177460193]
  連続潜伏変数と離散潜伏変数の両方の利点を組み合わせて、ハイブリッド潜伏変数(HLV)法を提案する。 HLVは、離散潜伏変数を通して応答のグローバルな意味を制約し、連続潜伏変数で応答を豊かにする。 さらに, HLV と変換器を併用して対話生成を行うための条件付きハイブリッド変分変換器 (CHVT) を提案する。
  論文  参考訳（メタデータ） (2022-12-02T12:48:01Z)
• Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
  変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。 本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
  論文  参考訳（メタデータ） (2022-10-22T10:25:35Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。