論文の概要: Paraphrase Generation with Latent Bag of Words

• arxiv url: http://arxiv.org/abs/2001.01941v1
• Date: Tue, 7 Jan 2020 09:22:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 20:07:14.604391
• Title: Paraphrase Generation with Latent Bag of Words
• Title（参考訳）: 単語の潜在性袋を用いたパラフレーズ生成
• Authors: Yao Fu, Yansong Feng and John P. Cunningham
• Abstract要約: パラフレーズ生成のための潜在単語袋(BOW)モデルを提案する。 我々は、ソースワードを使用して、それらの隣人を予測するとともに、ターゲットのBOWをソフトマックスの混合でモデル化する。 我々の潜在BOWモデルはデコーダを強化するだけでなく、明確な解釈可能性を示す。
• 参考スコア（独自算出の注目度）: 46.34571236204907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Paraphrase generation is a longstanding important problem in natural language processing. In addition, recent progress in deep generative models has shown promising results on discrete latent variables for text generation. Inspired by variational autoencoders with discrete latent structures, in this work, we propose a latent bag of words (BOW) model for paraphrase generation. We ground the semantics of a discrete latent variable by the BOW from the target sentences. We use this latent variable to build a fully differentiable content planning and surface realization model. Specifically, we use source words to predict their neighbors and model the target BOW with a mixture of softmax. We use Gumbel top-k reparameterization to perform differentiable subset sampling from the predicted BOW distribution. We retrieve the sampled word embeddings and use them to augment the decoder and guide its generation search space. Our latent BOW model not only enhances the decoder, but also exhibits clear interpretability. We show the model interpretability with regard to \emph{(i)} unsupervised learning of word neighbors \emph{(ii)} the step-by-step generation procedure. Extensive experiments demonstrate the transparent and effective generation process of this model.\footnote{Our code can be found at \url{https://github.com/FranxYao/dgm_latent_bow}}
• Abstract（参考訳）: パラフレーズ生成は自然言語処理における長年の重要な問題である。 さらに、近年の深層生成モデルの進歩は、テキスト生成のための離散潜在変数に対する有望な結果を示している。 本研究では,離散的潜在構造を持つ変分オートエンコーダに着想を得て,パラファーゼ生成のための潜在語(bow)モデルを提案する。 目的文からの弓によって離散潜在変数の意味を接地する。 この潜在変数を使用して、完全に微分可能なコンテンツ計画と表面実現モデルを構築します。 具体的には、ソース語を用いて隣人の予測を行い、ターゲットBOWをソフトマックスの混合でモデル化する。 我々は、予測されたBOW分布から微分可能なサブセットサンプリングを行うために、Gumbel top-k reparameterization を用いる。 サンプルした単語の埋め込みを検索し、デコーダの強化に利用し、生成した検索空間をガイドする。 我々の潜在BOWモデルはデコーダを強化するだけでなく、明確な解釈可能性を示す。 emph{ に関するモデルの解釈可能性を示す。 (i) 単語隣人 \emph{ の教師なし学習 (ii) ステップバイステップ生成手順。 大規模な実験は、このモデルの透明で効果的な生成過程を示す。 コードは \url{https://github.com/franxyao/dgm_latent_bow}} にある。

関連論文リスト

• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Learning Multiscale Transformer Models for Sequence Generation [33.73729074207944]
  単語境界情報と句レベルの事前知識に基づいて,スケール間の関係を確立することで,マルチスケールトランスフォーマーモデルを構築する。 特に、いくつかのテストセットにおいて、効率を犠牲にすることなく、強いベースラインに対して一貫したパフォーマンス向上を実現した。
  論文  参考訳（メタデータ） (2022-06-19T07:28:54Z)
• A Sparsity-promoting Dictionary Model for Variational Autoencoders [16.61511959679188]
  深層生成モデルにおける潜伏空間の構造化は、より表現力のあるモデルと解釈可能な表現を得るために重要である。 本稿では,空間の空間構造をスパーシティ・プロモーティング・辞書・モデルを用いて簡易かつ効果的に構築する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T17:13:11Z)
• Generative Text Modeling through Short Run Inference [47.73892773331617]
  本研究は、推論のためのショートランダイナミックスを提案し、潜伏変数の以前の分布から変化し、後続分布によって導かれる少数のランゲヴィンダイナミックスステップを実行する。 短絡力学で訓練されたモデルは、強い言語モデルやVAEベースラインと比較して、より正確にデータをモデル化し、後方崩壊の兆候は示さない。
  論文  参考訳（メタデータ） (2021-05-27T09:14:35Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
  我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。 本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
  論文  参考訳（メタデータ） (2020-04-30T13:27:26Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。