Fugu-MT 論文翻訳(概要): A Discrete Variational Recurrent Topic Model without the Reparametrization Trick

論文の概要: A Discrete Variational Recurrent Topic Model without the Reparametrization Trick

arxiv url: http://arxiv.org/abs/2010.12055v1
Date: Thu, 22 Oct 2020 20:53:44 GMT
ステータス: 処理完了
システム内更新日: 2022-10-04 07:24:36.481446
Title: A Discrete Variational Recurrent Topic Model without the Reparametrization Trick
Title（参考訳）: 再パラメータ化トリックを伴わない離散変動反復トピックモデル
Authors: Mehdi Rezaee and Francis Ferraro
Abstract要約: 離散確率変数を用いたニューラルトピックモデルの学習方法を示す。複数のコーパスにまたがってパープレキシティと文書理解が改善された。
参考スコア（独自算出の注目度）: 16.54912614895861
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We show how to learn a neural topic model with discrete random variables---one that explicitly models each word's assigned topic---using neural variational inference that does not rely on stochastic backpropagation to handle the discrete variables. The model we utilize combines the expressive power of neural methods for representing sequences of text with the topic model's ability to capture global, thematic coherence. Using neural variational inference, we show improved perplexity and document understanding across multiple corpora. We examine the effect of prior parameters both on the model and variational parameters and demonstrate how our approach can compete and surpass a popular topic model implementation on an automatic measure of topic quality.
Abstract（参考訳）: 各単語が割り当てられたトピックを明示的にモデル化する — 離散変数を扱うために確率的バックプロパゲーションに依存しない,ニューラルネットワークの変動推論を使用する — ニューラルネットワークのトピックモデルをどのように学習するかを示す。本モデルでは,テキストのシーケンスを表現するためのニューラルネットワークの表現力と,グローバルかつテーマ的なコヒーレンスをキャプチャするトピックモデルの能力を組み合わせた。神経変分推論を用いて、複数のコーパスのパープレキシティと文書理解を改善した。モデルと変分パラメータの両方に先行パラメータが与える影響について検討し,提案手法がトピック品質の自動測定において,一般的なトピックモデルの実装と競合することを示す。

関連論文リスト

Latent Variable Sequence Identification for Cognitive Models with Neural Bayes Estimation [7.7227297059345466]
本稿では,ニューラルベイズ推定を拡張して,実験データと対象変数空間との直接マッピングを学習する手法を提案する。我々の研究は、リカレントニューラルネットワークとシミュレーションベースの推論を組み合わせることで、潜在変数配列を特定することで、研究者がより広範な認知モデルにアクセスできるようになることを強調している。
論文参考訳（メタデータ） (2024-06-20T21:13:39Z)
Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文参考訳（メタデータ） (2023-11-26T06:56:02Z)
Discovering interpretable elastoplasticity models via the neural polynomial method enabled symbolic regressions [0.0]
従来のニューラルネットワークの弾塑性モデルは、しばしば解釈可能性に欠けると見なされる。本稿では,人間専門家が解釈可能な数学的モデルを返す2段階の機械学習手法を提案する。
論文参考訳（メタデータ） (2023-07-24T22:22:32Z)
Diversity-Aware Coherence Loss for Improving Neural Topic Models [20.98172300869239]
本稿では,コーパスレベルのコヒーレンススコアの学習を促す新しい多様性を考慮したコヒーレンス損失を提案する。複数のデータセットに対する実験結果から,本手法はニューラルトピックモデルの性能を著しく向上させることが示された。
論文参考訳（メタデータ） (2023-05-25T16:01:56Z)
Neural Dynamic Focused Topic Model [2.9005223064604078]
ニューラル変動推論の最近の進歩を活用し、ダイナミックフォーカストピックモデルに代替的なニューラルアプローチを提案する。本稿では,Bernoulli確率変数の列を利用してトピックの出現を追跡するトピック進化のためのニューラルモデルを開発する。
論文参考訳（メタデータ） (2023-01-26T08:37:34Z)
Learning Semantic Textual Similarity via Topic-informed Discrete Latent Variables [17.57873577962635]
我々は、意味的テキスト類似性のためのトピックインフォームド離散潜在変数モデルを開発した。我々のモデルはベクトル量子化による文対表現のための共有潜在空間を学習する。我々のモデルは意味的テキスト類似性タスクにおいて、いくつかの強力な神経ベースラインを超えることができることを示す。
論文参考訳（メタデータ） (2022-11-07T15:09:58Z)
Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文参考訳（メタデータ） (2020-12-17T15:19:29Z)
On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
テキスト分類モデルの逆例の転送可能性について検討する。本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。これらの逆例からモデル診断に使用できる単語置換規則を導出する。
論文参考訳（メタデータ） (2020-11-17T10:45:05Z)
Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文参考訳（メタデータ） (2020-10-25T18:51:15Z)
Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文参考訳（メタデータ） (2020-04-22T14:41:37Z)
Variational Hyper RNN for Sequence Modeling [69.0659591456772]
本稿では,時系列データにおける高変数の取得に優れる新しい確率的シーケンスモデルを提案する。提案手法では,時間潜時変数を用いて基礎となるデータパターンに関する情報をキャプチャする。提案手法の有効性を,合成および実世界のシーケンシャルデータに示す。
論文参考訳（メタデータ） (2020-02-24T19:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。