論文の概要: Variational Gaussian Topic Model with Invertible Neural Projections
- arxiv url: http://arxiv.org/abs/2105.10095v1
- Date: Fri, 21 May 2021 02:23:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 03:28:41.510626
- Title: Variational Gaussian Topic Model with Invertible Neural Projections
- Title（参考訳）: 可逆神経投射を伴う変分ガウス話題モデル
- Authors: Rui Wang, Deyu Zhou, Yuxuan Xiong, Haiping Huang
- Abstract要約: 変分ガウス的トピックモデル(VaGTM)と呼ばれる新しいトピックモデリング手法を提案する。
変分自動エンコーダに基づいて、提案したVagTMは、単語関連性を組み込むために、多変量ガウスのデコーダを用いて各トピックをモデル化する。
トピック関連語の事前学習語埋め込みが多変量ガウスに従わないという制限に対処するため、VagTM-IPを拡張する。
- 参考スコア（独自算出の注目度）: 15.887921450624189
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural topic models have triggered a surge of interest in extracting topics
from text automatically since they avoid the sophisticated derivations in
conventional topic models. However, scarce neural topic models incorporate the
word relatedness information captured in word embedding into the modeling
process. To address this issue, we propose a novel topic modeling approach,
called Variational Gaussian Topic Model (VaGTM). Based on the variational
auto-encoder, the proposed VaGTM models each topic with a multivariate Gaussian
in decoder to incorporate word relatedness. Furthermore, to address the
limitation that pre-trained word embeddings of topic-associated words do not
follow a multivariate Gaussian, Variational Gaussian Topic Model with
Invertible neural Projections (VaGTM-IP) is extended from VaGTM. Three
benchmark text corpora are used in experiments to verify the effectiveness of
VaGTM and VaGTM-IP. The experimental results show that VaGTM and VaGTM-IP
outperform several competitive baselines and obtain more coherent topics.
- Abstract（参考訳）: ニューラルネットワークのトピックモデルは、従来のトピックモデルの洗練された導出を避けるため、テキストからトピックを自動的に抽出することへの関心が高まっている。
しかし、希少なニューラルネットワークの話題モデルは、モデリングプロセスに単語埋め込みでキャプチャされた単語関連情報を取り込んでいる。
この問題に対処するために,変分ガウス的トピックモデル (VaGTM) と呼ばれる新しいトピックモデリング手法を提案する。
変分オートエンコーダに基づき、提案するvagtmは、単語関連性を取り込むために、デコーダ内の多変量ガウシアンを用いて各トピックをモデル化する。
さらに、話題関連語の事前学習語埋め込みが多変量ガウス語に従わないという制限に対処するため、VaGTMから変分ガウス言語トピックモデル(VaGTM-IP)を拡張する。
3つのベンチマークテキストコーパスを用いて,VagTMとVagTM-IPの有効性を検証する。
実験結果から, VaGTM と VaGTM-IP はいくつかの競争基準よりも優れ,より一貫性のあるトピックが得られた。
関連論文リスト
- Probabilistic Topic Modelling with Transformer Representations [0.9999629695552195]
トランスフォーマー表現型ニューラルトピックモデル(TNTM)を提案する。
このアプローチは、完全に確率論的モデリングを伴うトランスフォーマー埋め込みに基づくトピックの強力で汎用的な概念を統一する。
実験の結果,提案手法は組込みコヒーレンスの観点から,様々な最先端手法に匹敵する結果が得られることがわかった。
論文 参考訳（メタデータ） (2024-03-06T14:27:29Z) - RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder
for Language Modeling [79.56442336234221]
可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。
テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。
各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
論文 参考訳（メタデータ） (2023-10-16T16:42:01Z) - A Joint Learning Approach for Semi-supervised Neural Topic Modeling [25.104653662416023]
本稿では,最初の効果的な上流半教師付きニューラルトピックモデルであるラベル付きニューラルトピックモデル(LI-NTM)を紹介する。
LI-NTMは文書再構成ベンチマークにおいて既存のニューラルトピックモデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-04-07T04:42:17Z) - Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。
情報不足と後部崩壊という2つの課題に悩まされている。
本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
論文 参考訳（メタデータ） (2021-06-16T06:36:26Z) - A comprehensive comparative evaluation and analysis of Distributional
Semantic Models [61.41800660636555]
我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。
その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。
我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
論文 参考訳（メタデータ） (2021-05-20T15:18:06Z) - A Discrete Variational Recurrent Topic Model without the
Reparametrization Trick [16.54912614895861]
離散確率変数を用いたニューラルトピックモデルの学習方法を示す。
複数のコーパスにまたがってパープレキシティと文書理解が改善された。
論文 参考訳（メタデータ） (2020-10-22T20:53:44Z) - Dynamical Variational Autoencoders: A Comprehensive Review [23.25573952809074]
動的変分オートエンコーダ(DVAE)と呼ばれるモデルの一般的なクラスを紹介し,議論する。
我々は最近提案された7つのDVAEモデルについて詳述し、表記法とプレゼンテーションラインの均質化を目的としている。
我々は,これらの7つのDVAEモデルを再実装し,音声分析・再合成タスクで実施した実験結果を示す。
論文 参考訳（メタデータ） (2020-08-28T11:49:33Z) - Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。
また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。
実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
論文 参考訳（メタデータ） (2020-08-11T03:55:11Z) - DiscreTalk: Text-to-Speech as a Machine Translation Problem [52.33785857500754]
本稿ではニューラルマシン翻訳(NMT)に基づくエンドツーエンドテキスト音声合成(E2E-TTS)モデルを提案する。
提案モデルは,非自己回帰ベクトル量子化変分オートエンコーダ(VQ-VAE)モデルと自己回帰トランスフォーマー-NMTモデルという2つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2020-05-12T02:45:09Z) - Neural Topic Modeling with Bidirectional Adversarial Training [37.71988156164695]
本稿では,BATモデル(Bidirectional Adversarial Topic)と呼ばれるニューラルトピックモデリング手法を提案する。
BATは、文書トピック分布と文書ワード分布との間に双方向のプロジェクションを構築する。
単語関連性情報を組み込むため、ガウス語(ガウス語-BAT)を用いた双方向逆トピックモデルを拡張する。
論文 参考訳（メタデータ） (2020-04-26T09:41:17Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳（メタデータ） (2020-04-22T14:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。