論文の概要: Discrete Variational Attention Models for Language Generation

• arxiv url: http://arxiv.org/abs/2004.09764v4
• Date: Wed, 16 Jun 2021 06:35:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-11 05:46:29.711578
• Title: Discrete Variational Attention Models for Language Generation
• Title（参考訳）: 言語生成のための離散的変分注意モデル
• Authors: Xianghong Fang and Haoli Bai and Zenglin Xu and Michael Lyu and Irwin King
• Abstract要約: 本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
• 参考スコア（独自算出の注目度）: 51.88612022940496
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Variational autoencoders have been widely applied for natural language generation, however, there are two long-standing problems: information under-representation and posterior collapse. The former arises from the fact that only the last hidden state from the encoder is transformed to the latent space, which is insufficient to summarize data. The latter comes as a result of the imbalanced scale between the reconstruction loss and the KL divergence in the objective function. To tackle these issues, in this paper we propose the discrete variational attention model with categorical distribution over the attention mechanism owing to the discrete nature in languages. Our approach is combined with an auto-regressive prior to capture the sequential dependency from observations, which can enhance the latent space for language generation. Moreover, thanks to the property of discreteness, the training of our proposed approach does not suffer from posterior collapse. Furthermore, we carefully analyze the superiority of discrete latent space over the continuous space with the common Gaussian distribution. Extensive experiments on language generation demonstrate superior advantages of our proposed approach in comparison with the state-of-the-art counterparts.
• Abstract（参考訳）: 変分オートエンコーダは自然言語生成に広く適用されてきたが、情報不足と後方崩壊という2つの長年の問題がある。 前者は、エンコーダからの最後の隠れた状態だけが潜在空間に変換されるため、データの要約が不十分であるという事実から生じる。 後者は、再建損失と目的関数におけるKL分散との間の不均衡なスケールの結果である。 本稿では,これらの問題に対処するために,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 我々のアプローチは、観測から逐次依存を捉えるための自動回帰と組み合わせられ、言語生成の潜伏空間を増大させることができる。 さらに, 離散性の特性により, 提案手法の訓練は後部崩壊に支障を来さない。 さらに,一般ガウス分布を持つ連続空間上の離散潜在空間の優性についても慎重に解析する。 言語生成に関する広範な実験は,提案手法が最先端の手法に比べて優れていることを示す。

関連論文リスト

• Variational excess risk bound for general state space models [0.0]
  一般状態空間モデルに対する変分オートエンコーダ(VAE)について検討する。 本稿では, 変動分布の逆因数分解について検討し, VAEに関連する余剰リスクを解析する。
  論文  参考訳（メタデータ） (2023-12-15T08:41:07Z)
• Learning Disentangled Semantic Spaces of Explanations via Invertible Neural Networks [10.880057430629126]
  切り離された潜在空間は、通常、より良い意味分離性と幾何学的性質を持ち、より良い解釈可能性とより制御可能なデータ生成をもたらす。 本研究では,より一般的な文意味的特徴の局所的な修正と制御を目的とした,文の絡み合いのより一般的な形態に着目した。 本稿では,トランスフォーマベース言語であるオートエンコーダ(AE)と統合されたフローベース可逆ニューラルネットワーク(INN)機構を導入し,より分離性に優れた潜在空間を実現する。
  論文  参考訳（メタデータ） (2023-05-02T18:27:13Z)
• Shared Latent Space by Both Languages in Non-Autoregressive Neural Machine Translation [0.0]
  非自己回帰型ニューラルマシン翻訳(NAT)は自己回帰型ニューラルマシン翻訳(AT)と比較して翻訳速度が大幅に向上する 潜在変数モデリングは、この品質ギャップを埋めるための有望なアプローチとして現れています。
  論文  参考訳（メタデータ） (2023-05-02T15:33:09Z)
• Improving Variational Autoencoders with Density Gap-based Regularization [16.770753948524167]
  変分オートエンコーダ(VAE)は、潜時表現学習と潜時指向生成のためのNLPにおける強力な非教師なし学習フレームワークの1つである。 実際には、ELBoの最適化は、全ての試料の後方分布を同じ分解された局所最適値、すなわち後崩壊またはKL消滅に収束させる。 本稿では, 階層化後分布と先行分布との確率的密度ギャップに基づく新しい正規化により, 両問題に対処する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2022-11-01T08:17:10Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
  変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。 情報不足と後部崩壊という2つの課題に悩まされている。 本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
  論文  参考訳（メタデータ） (2021-06-16T06:36:26Z)
• Generative Text Modeling through Short Run Inference [47.73892773331617]
  本研究は、推論のためのショートランダイナミックスを提案し、潜伏変数の以前の分布から変化し、後続分布によって導かれる少数のランゲヴィンダイナミックスステップを実行する。 短絡力学で訓練されたモデルは、強い言語モデルやVAEベースラインと比較して、より正確にデータをモデル化し、後方崩壊の兆候は示さない。
  論文  参考訳（メタデータ） (2021-05-27T09:14:35Z)
• APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
  本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。 適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。 言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
  論文  参考訳（メタデータ） (2020-04-30T19:05:41Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。