論文の概要: Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference
- arxiv url: http://arxiv.org/abs/2006.08804v1
- Date: Mon, 15 Jun 2020 22:22:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 03:59:30.898937
- Title: Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference
- Title(参考訳): スケーラブルなハイブリッドベイズ推論を用いたディープ自動エンコーディングトピックモデル
- Authors: Hao Zhang, Bo Chen, Yulai Cong, Dandan Guo, Hongwei Liu, Mingyuan Zhou
- Abstract要約: 我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。
Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。
大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
- 参考スコア(独自算出の注目度): 55.35176938713946
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To build a flexible and interpretable model for document analysis, we develop
deep autoencoding topic model (DATM) that uses a hierarchy of gamma
distributions to construct its multi-stochastic-layer generative network. In
order to provide scalable posterior inference for the parameters of the
generative network, we develop topic-layer-adaptive stochastic gradient
Riemannian MCMC that jointly learns simplex-constrained global parameters
across all layers and topics, with topic and layer specific learning rates.
Given a posterior sample of the global parameters, in order to efficiently
infer the local latent representations of a document under DATM across all
stochastic layers, we propose a Weibull upward-downward variational encoder
that deterministically propagates information upward via a deep neural network,
followed by a Weibull distribution based stochastic downward generative model.
To jointly model documents and their associated labels, we further propose
supervised DATM that enhances the discriminative power of its latent
representations. The efficacy and scalability of our models are demonstrated on
both unsupervised and supervised learning tasks on big corpora.
- Abstract(参考訳): 文書解析のためのフレキシブルかつ解釈可能なモデルを構築するために,ガンマ分布の階層構造を用いた深層自動符号化トピックモデル(DATM)を開発した。
生成ネットワークのパラメータに対するスケーラブルな後方推定を提供するために,トピック層適応確率勾配リーマンmcを開発し,トピックとレイヤ固有の学習率を用いて,すべてのレイヤとトピックにまたがるsimplex制約付きグローバルパラメータを共同で学習する。
大域的パラメータの後方サンプルが与えられると、全ての確率層にまたがって文書の局所潜在表現を効率的に推定するために、深層ニューラルネットワークを介して情報を上向きに伝播するワイブル上向き変分エンコーダを提案し、次いでWeibull分布に基づく確率下向き生成モデルを提案する。
文書とその関連ラベルを共同でモデル化するために,その潜在表現の識別力を高める教師付きDATMを提案する。
大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
関連論文リスト
- Generative Modeling for Tabular Data via Penalized Optimal Transport
Network [2.0319002824093015]
Wasserstein generative adversarial network (WGAN) は、生成モデルにおいて顕著な改善である。
本稿では,新しい,頑健で解釈可能な辺縁補償型Wasserstein(MPW)損失に基づく生成型ディープニューラルネットワークPOTNetを提案する。
論文 参考訳(メタデータ) (2024-02-16T05:27:05Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳(メタデータ) (2023-01-23T15:18:54Z) - DAMNETS: A Deep Autoregressive Model for Generating Markovian Network
Time Series [6.834250594353335]
ネットワーク時系列生成モデル(動的グラフとも呼ばれる)は疫学、生物学、経済学などの分野において大きな可能性を秘めている。
本稿では,ネットワーク時系列のスケーラブルな深層生成モデルであるDAMNETSを紹介する。
論文 参考訳(メタデータ) (2022-03-28T18:14:04Z) - Hierarchical Graph-Convolutional Variational AutoEncoding for Generative
Modelling of Human Motion [1.2599533416395767]
人間の動きのモデルは通常、軌跡予測または行動分類に焦点を当てるが、どちらもまれである。
本稿では,階層的変動オートエンコーダと深部グラフ畳み込みニューラルネットワークに基づく新しいアーキテクチャを提案する。
この階層型グラフ共進化型自己エンコーダ(HG-VAE)は、コヒーレントな動作を生成し、分布外データを検出し、モデルの後部への勾配上昇による欠落データを出力できることを示す。
論文 参考訳(メタデータ) (2021-11-24T16:21:07Z) - A Unified Approach to Variational Autoencoders and Stochastic
Normalizing Flows via Markov Chains [0.45119235878273]
マルコフ連鎖を介して正規化フローと変分オートエンコーダを処理する統一的なフレームワークを提供する。
我々のフレームワークは、様々なアプローチを組み合わせるのに有用な数学的ツールを確立します。
論文 参考訳(メタデータ) (2021-11-24T14:04:32Z) - SrvfNet: A Generative Network for Unsupervised Multiple Diffeomorphic
Shape Alignment [6.404122934568859]
SrvfNetは、関数データの大規模なコレクションを複数アライメントする、ジェネレーティブなディープラーニングフレームワークである。
提案するフレームワークは完全に教師なしであり,事前定義されたテンプレートに整合すると同時に,データから最適なテンプレートを共同で予測することができる。
我々は, 磁気共鳴画像(MRI)データからの拡散プロファイルだけでなく, 合成データ上で検証することで, フレームワークの強度を実証する。
論文 参考訳(メタデータ) (2021-04-27T19:49:46Z) - Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。
ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。
ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文 参考訳(メタデータ) (2021-04-12T16:23:37Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳(メタデータ) (2020-07-07T03:36:28Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2020-04-22T14:41:37Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。