論文の概要: A Discrete Variational Recurrent Topic Model without the
Reparametrization Trick
- arxiv url: http://arxiv.org/abs/2010.12055v1
- Date: Thu, 22 Oct 2020 20:53:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 07:24:36.481446
- Title: A Discrete Variational Recurrent Topic Model without the
Reparametrization Trick
- Title(参考訳): 再パラメータ化トリックを伴わない離散変動反復トピックモデル
- Authors: Mehdi Rezaee and Francis Ferraro
- Abstract要約: 離散確率変数を用いたニューラルトピックモデルの学習方法を示す。
複数のコーパスにまたがってパープレキシティと文書理解が改善された。
- 参考スコア(独自算出の注目度): 16.54912614895861
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We show how to learn a neural topic model with discrete random
variables---one that explicitly models each word's assigned topic---using
neural variational inference that does not rely on stochastic backpropagation
to handle the discrete variables. The model we utilize combines the expressive
power of neural methods for representing sequences of text with the topic
model's ability to capture global, thematic coherence. Using neural variational
inference, we show improved perplexity and document understanding across
multiple corpora. We examine the effect of prior parameters both on the model
and variational parameters and demonstrate how our approach can compete and
surpass a popular topic model implementation on an automatic measure of topic
quality.
- Abstract(参考訳): 各単語が割り当てられたトピックを明示的にモデル化する — 離散変数を扱うために確率的バックプロパゲーションに依存しない,ニューラルネットワークの変動推論を使用する — ニューラルネットワークのトピックモデルをどのように学習するかを示す。
本モデルでは,テキストのシーケンスを表現するためのニューラルネットワークの表現力と,グローバルかつテーマ的なコヒーレンスをキャプチャするトピックモデルの能力を組み合わせた。
神経変分推論を用いて、複数のコーパスのパープレキシティと文書理解を改善した。
モデルと変分パラメータの両方に先行パラメータが与える影響について検討し,提案手法がトピック品質の自動測定において,一般的なトピックモデルの実装と競合することを示す。
関連論文リスト
- Probabilistic Transformer: A Probabilistic Dependency Model for
Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。
モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。
実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文 参考訳(メタデータ) (2023-11-26T06:56:02Z) - Discovering interpretable elastoplasticity models via the neural
polynomial method enabled symbolic regressions [0.0]
従来のニューラルネットワークの弾塑性モデルは、しばしば解釈可能性に欠けると見なされる。
本稿では,人間専門家が解釈可能な数学的モデルを返す2段階の機械学習手法を提案する。
論文 参考訳(メタデータ) (2023-07-24T22:22:32Z) - Diversity-Aware Coherence Loss for Improving Neural Topic Models [20.98172300869239]
本稿では,コーパスレベルのコヒーレンススコアの学習を促す新しい多様性を考慮したコヒーレンス損失を提案する。
複数のデータセットに対する実験結果から,本手法はニューラルトピックモデルの性能を著しく向上させることが示された。
論文 参考訳(メタデータ) (2023-05-25T16:01:56Z) - Neural Dynamic Focused Topic Model [2.9005223064604078]
ニューラル変動推論の最近の進歩を活用し、ダイナミックフォーカストピックモデルに代替的なニューラルアプローチを提案する。
本稿では,Bernoulli確率変数の列を利用してトピックの出現を追跡するトピック進化のためのニューラルモデルを開発する。
論文 参考訳(メタデータ) (2023-01-26T08:37:34Z) - Bayesian Additive Main Effects and Multiplicative Interaction Models
using Tensor Regression for Multi-environmental Trials [0.0]
本稿では,複数の因子が表現型予測に与える影響を考慮したベイズテンソル回帰モデルを提案する。
我々は、モデルのパラメータ間で生じる可能性のある識別可能性の問題を解決するための、事前分布のセットを採用する。
我々は2010年から2019年までのアイルランドにおける小麦生産に関する実世界のデータを分析して、我々のモデルの適用性を探る。
論文 参考訳(メタデータ) (2023-01-09T19:54:50Z) - Learning Semantic Textual Similarity via Topic-informed Discrete Latent
Variables [17.57873577962635]
我々は、意味的テキスト類似性のためのトピックインフォームド離散潜在変数モデルを開発した。
我々のモデルはベクトル量子化による文対表現のための共有潜在空間を学習する。
我々のモデルは意味的テキスト類似性タスクにおいて、いくつかの強力な神経ベースラインを超えることができることを示す。
論文 参考訳(メタデータ) (2022-11-07T15:09:58Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳(メタデータ) (2022-03-23T12:52:49Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳(メタデータ) (2020-12-17T15:19:29Z) - On the Transferability of Adversarial Attacksagainst Neural Text
Classifier [121.6758865857686]
テキスト分類モデルの逆例の転送可能性について検討する。
本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。
これらの逆例からモデル診断に使用できる単語置換規則を導出する。
論文 参考訳(メタデータ) (2020-11-17T10:45:05Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2020-04-22T14:41:37Z) - Variational Hyper RNN for Sequence Modeling [69.0659591456772]
本稿では,時系列データにおける高変数の取得に優れる新しい確率的シーケンスモデルを提案する。
提案手法では,時間潜時変数を用いて基礎となるデータパターンに関する情報をキャプチャする。
提案手法の有効性を,合成および実世界のシーケンシャルデータに示す。
論文 参考訳(メタデータ) (2020-02-24T19:30:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。