論文の概要: Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference

• arxiv url: http://arxiv.org/abs/2006.08804v1
• Date: Mon, 15 Jun 2020 22:22:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 03:59:30.898937
• Title: Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference
• Title（参考訳）: スケーラブルなハイブリッドベイズ推論を用いたディープ自動エンコーディングトピックモデル
• Authors: Hao Zhang, Bo Chen, Yulai Cong, Dandan Guo, Hongwei Liu, Mingyuan Zhou
• Abstract要約: 我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。 Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。 大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
• 参考スコア（独自算出の注目度）: 55.35176938713946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To build a flexible and interpretable model for document analysis, we develop deep autoencoding topic model (DATM) that uses a hierarchy of gamma distributions to construct its multi-stochastic-layer generative network. In order to provide scalable posterior inference for the parameters of the generative network, we develop topic-layer-adaptive stochastic gradient Riemannian MCMC that jointly learns simplex-constrained global parameters across all layers and topics, with topic and layer specific learning rates. Given a posterior sample of the global parameters, in order to efficiently infer the local latent representations of a document under DATM across all stochastic layers, we propose a Weibull upward-downward variational encoder that deterministically propagates information upward via a deep neural network, followed by a Weibull distribution based stochastic downward generative model. To jointly model documents and their associated labels, we further propose supervised DATM that enhances the discriminative power of its latent representations. The efficacy and scalability of our models are demonstrated on both unsupervised and supervised learning tasks on big corpora.
• Abstract（参考訳）: 文書解析のためのフレキシブルかつ解釈可能なモデルを構築するために,ガンマ分布の階層構造を用いた深層自動符号化トピックモデル(DATM)を開発した。 生成ネットワークのパラメータに対するスケーラブルな後方推定を提供するために,トピック層適応確率勾配リーマンmcを開発し,トピックとレイヤ固有の学習率を用いて,すべてのレイヤとトピックにまたがるsimplex制約付きグローバルパラメータを共同で学習する。 大域的パラメータの後方サンプルが与えられると、全ての確率層にまたがって文書の局所潜在表現を効率的に推定するために、深層ニューラルネットワークを介して情報を上向きに伝播するワイブル上向き変分エンコーダを提案し、次いでWeibull分布に基づく確率下向き生成モデルを提案する。 文書とその関連ラベルを共同でモデル化するために,その潜在表現の識別力を高める教師付きDATMを提案する。 大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。

関連論文リスト

• Scalable Weibull Graph Attention Autoencoder for Modeling Document Networks [50.42343781348247]
  解析条件後部を解析し,推論精度を向上させるグラフポアソン因子分析法(GPFA)を開発した。 また,GPFAを多層構造に拡張したグラフPoisson gamma belief Network (GPGBN) を用いて,階層的な文書関係を複数の意味レベルで捉える。 本モデルでは,高品質な階層型文書表現を抽出し,様々なグラフ解析タスクにおいて有望な性能を実現する。
  論文  参考訳（メタデータ） (2024-10-13T02:22:14Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Decentralized Transformers with Centralized Aggregation are Sample-Efficient Multi-Agent World Models [106.94827590977337]
  本稿では,分散化された局所力学を拡張性のために学習するマルチエージェントRL(MARL)の新たな世界モデルを提案する。 また、集中表現アグリゲーションを可能にする効果的なソリューションとしてPerceiver Transformerを導入する。 Starcraft Multi-Agent Challenge (SMAC) の結果は、サンプル効率と全体的な性能の両方において、強力なモデルフリーアプローチと既存のモデルベース手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-06-22T12:40:03Z)
• Unified Generation, Reconstruction, and Representation: Generalized Diffusion with Adaptive Latent Encoding-Decoding [90.77521413857448]
  深層生成モデルは,3つのコア機能 – 新たなインスタンスの生成,入力の再構築,コンパクト表現の学習 – に固定されている。 一般化逆変換拡散確率モデル(EDDPM)を導入する。 EDDPMはパラメタライズされた符号化復号を導入することで標準拡散におけるガウス雑音化を一般化する。 テキスト、タンパク質、画像の実験は、多様なデータやタスクを扱う柔軟性を示している。
  論文  参考訳（メタデータ） (2024-02-29T10:08:57Z)
• DAMNETS: A Deep Autoregressive Model for Generating Markovian Network Time Series [6.834250594353335]
  ネットワーク時系列生成モデル(動的グラフとも呼ばれる)は疫学、生物学、経済学などの分野において大きな可能性を秘めている。 本稿では,ネットワーク時系列のスケーラブルな深層生成モデルであるDAMNETSを紹介する。
  論文  参考訳（メタデータ） (2022-03-28T18:14:04Z)
• Hierarchical Graph-Convolutional Variational AutoEncoding for Generative Modelling of Human Motion [1.2599533416395767]
  人間の動きのモデルは通常、軌跡予測または行動分類に焦点を当てるが、どちらもまれである。 本稿では,階層的変動オートエンコーダと深部グラフ畳み込みニューラルネットワークに基づく新しいアーキテクチャを提案する。 この階層型グラフ共進化型自己エンコーダ(HG-VAE)は、コヒーレントな動作を生成し、分布外データを検出し、モデルの後部への勾配上昇による欠落データを出力できることを示す。
  論文  参考訳（メタデータ） (2021-11-24T16:21:07Z)
• A Unified Approach to Variational Autoencoders and Stochastic Normalizing Flows via Markov Chains [0.45119235878273]
  マルコフ連鎖を介して正規化フローと変分オートエンコーダを処理する統一的なフレームワークを提供する。 我々のフレームワークは、様々なアプローチを組み合わせるのに有用な数学的ツールを確立します。
  論文  参考訳（メタデータ） (2021-11-24T14:04:32Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。