論文の概要: Towards Diverse, Relevant and Coherent Open-Domain Dialogue Generation
via Hybrid Latent Variables
- arxiv url: http://arxiv.org/abs/2212.01145v1
- Date: Fri, 2 Dec 2022 12:48:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 15:46:15.878130
- Title: Towards Diverse, Relevant and Coherent Open-Domain Dialogue Generation
via Hybrid Latent Variables
- Title（参考訳）: ハイブリッド潜在変数を用いた多種多様・関連性・コヒーレントなオープンドメイン対話生成に向けて
- Authors: Bin Sun, Yitong Li, Fei Mi, Weichao Wang, Yiwei Li, Kan Li
- Abstract要約: 連続潜伏変数と離散潜伏変数の両方の利点を組み合わせて、ハイブリッド潜伏変数(HLV)法を提案する。
HLVは、離散潜伏変数を通して応答のグローバルな意味を制約し、連続潜伏変数で応答を豊かにする。
さらに, HLV と変換器を併用して対話生成を行うための条件付きハイブリッド変分変換器 (CHVT) を提案する。
- 参考スコア（独自算出の注目度）: 20.66743177460193
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conditional variational models, using either continuous or discrete latent
variables, are powerful for open-domain dialogue response generation. However,
previous works show that continuous latent variables tend to reduce the
coherence of generated responses. In this paper, we also found that discrete
latent variables have difficulty capturing more diverse expressions. To tackle
these problems, we combine the merits of both continuous and discrete latent
variables and propose a Hybrid Latent Variable (HLV) method. Specifically, HLV
constrains the global semantics of responses through discrete latent variables
and enriches responses with continuous latent variables. Thus, we diversify the
generated responses while maintaining relevance and coherence. In addition, we
propose Conditional Hybrid Variational Transformer (CHVT) to construct and to
utilize HLV with transformers for dialogue generation. Through fine-grained
symbolic-level semantic information and additive Gaussian mixing, we construct
the distribution of continuous variables, prompting the generation of diverse
expressions. Meanwhile, to maintain the relevance and coherence, the discrete
latent variable is optimized by self-separation training. Experimental results
on two dialogue generation datasets (DailyDialog and Opensubtitles) show that
CHVT is superior to traditional transformer-based variational mechanism w.r.t.
diversity, relevance and coherence metrics. Moreover, we also demonstrate the
benefit of applying HLV to fine-tuning two pre-trained dialogue models (PLATO
and BART-base).
- Abstract（参考訳）: 連続変数または離散変数を用いた条件変動モデルは、オープンドメイン対話応答生成に強力である。
しかし、従来の研究では、連続的潜在変数は生成した応答の一貫性を減少させる傾向がある。
本稿では,離散的潜在変数がより多様な表現を取り込むのに困難であることを見出した。
これらの問題に対処するために、連続変数と離散変数の両方の利点を組み合わせて、Hybrid Latent Variable (HLV)法を提案する。
具体的には、HLVは離散潜伏変数を通して応答のグローバルな意味を制約し、連続潜伏変数による応答を豊かにする。
そこで我々は,関連性と一貫性を維持しつつ,生成した応答を多様化する。
さらに, HLV と変換器を併用して対話生成を行うための条件付きハイブリッド変分変換器 (CHVT) を提案する。
微粒な記号レベルの意味情報と付加的なガウス混合によって連続変数の分布を構築し、多様な表現を生成する。
一方、関連性と一貫性を維持するため、離散潜在変数は自己分離訓練によって最適化される。
2つの対話生成データセット(DailyDialogとOpensubtitles)の実験結果から、CHVTは従来の変圧器による多様性、妥当性、コヒーレンスメトリクスよりも優れていることが示された。
さらに,事前学習した2つの対話モデル(PLATOとBART-base)にHLVを適用する利点を示す。
関連論文リスト
- Dior-CVAE: Pre-trained Language Models and Diffusion Priors for
Variational Dialog Generation [70.2283756542824]
Dior-CVAEは階層型条件変分オートエンコーダ(CVAE)である。
拡散モデルを用いて、従来の分布の複雑さを増大させ、PLMが生成した分布との整合性を高める。
2つのオープンドメインダイアログデータセットを対象とした実験により,大規模ダイアログ事前学習を必要とせずに,より多様な応答を生成できることが判明した。
論文 参考訳（メタデータ） (2023-05-24T11:06:52Z) - PVGRU: Generating Diverse and Relevant Dialogue Responses via
Pseudo-Variational Mechanism [21.705686583621816]
既存の生成モデルは、通常、シーケンスを要約するために最後の隠れ状態を使用する。
後続知識を伴わない擬似可変Gated Recurrent Unit (PVGRU) を提案する。
PVGRUは、考案された分布の一貫性と再構成目的によって最適化された変数を要約することで、微妙な意味的変動を知覚することができる。
論文 参考訳（メタデータ） (2022-12-18T13:36:07Z) - Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in
Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。
本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
論文 参考訳（メタデータ） (2022-10-22T10:25:35Z) - Adaptive Discrete Communication Bottlenecks with Dynamic Vector
Quantization [76.68866368409216]
入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。
コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-02-02T23:54:26Z) - Generating Relevant and Coherent Dialogue Responses using Self-separated
Conditional Variational AutoEncoders [10.910845951559388]
条件変分自動エンコーダ (CVAE) は, オープンエンド対話生成タスクにおける応答の多様性と情報伝達性を効果的に向上させる。
本稿では,自己分離型条件変分オートエンコーダ(SepaCVAE)を提案する。
SepaCVAEは、入力データをグループに積極的に分割し、データペアと異なるグループとの絶対差を広げる。
論文 参考訳（メタデータ） (2021-06-07T08:19:31Z) - Hierarchical Multi-Grained Generative Model for Expressive Speech
Synthesis [19.386519810463003]
本稿では,表現型音声を合成する多粒遅延変数を用いた階層的生成モデルを提案する。
提案するフレームワークは,全発話における発話スタイルの制御性も提供する。
論文 参考訳（メタデータ） (2020-09-17T18:00:19Z) - Learning Disentangled Representations with Latent Variation
Predictability [102.4163768995288]
本稿では,潜在不整合表現の変動予測可能性について述べる。
逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。
本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
論文 参考訳（メタデータ） (2020-07-25T08:54:26Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳（メタデータ） (2020-04-22T14:41:37Z) - Variational Transformers for Diverse Response Generation [71.53159402053392]
変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。
VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。
本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
論文 参考訳（メタデータ） (2020-03-28T07:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。