論文の概要: A Non-negative VAE:the Generalized Gamma Belief Network

• arxiv url: http://arxiv.org/abs/2408.03388v1
• Date: Tue, 6 Aug 2024 18:18:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 14:36:13.099710
• Title: A Non-negative VAE:the Generalized Gamma Belief Network
• Title（参考訳）: 非負なVAE:一般化ガンマ信念ネットワーク
• Authors: Zhibin Duan, Tiansheng Wen, Muyao Wang, Bo Chen, Mingyuan Zhou,
• Abstract要約: ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
• 参考スコア（独自算出の注目度）: 49.970917207211556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The gamma belief network (GBN), often regarded as a deep topic model, has demonstrated its potential for uncovering multi-layer interpretable latent representations in text data. Its notable capability to acquire interpretable latent factors is partially attributed to sparse and non-negative gamma-distributed latent variables. However, the existing GBN and its variations are constrained by the linear generative model, thereby limiting their expressiveness and applicability. To address this limitation, we introduce the generalized gamma belief network (Generalized GBN) in this paper, which extends the original linear generative model to a more expressive non-linear generative model. Since the parameters of the Generalized GBN no longer possess an analytic conditional posterior, we further propose an upward-downward Weibull inference network to approximate the posterior distribution of the latent variables. The parameters of both the generative model and the inference network are jointly trained within the variational inference framework. Finally, we conduct comprehensive experiments on both expressivity and disentangled representation learning tasks to evaluate the performance of the Generalized GBN against state-of-the-art Gaussian variational autoencoders serving as baselines.
• Abstract（参考訳）: ガンマ信念ネットワーク(GBN)は、しばしばディープトピックモデルと見なされるが、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を示している。 解釈可能な潜在因子を得るための顕著な能力は、部分的にはスパース変数と非負のガンマ分布潜在変数によるものである。 しかし、既存のGBNとそのバリエーションは線形生成モデルによって制約されるため、表現性や適用性は制限される。 この制限に対処するため、本論文では、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する一般化ガンマ信念ネットワーク(Generalized GBN)を導入する。 一般化GBNのパラメータはもはや解析条件後部を持たないため、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークも提案する。 生成モデルと推論ネットワークの両方のパラメータは、変動推論フレームワーク内で共同で訓練される。 最後に,表現性および非絡合表現学習タスクの総合的な実験を行い,ベースラインとして機能するガウス変分オートエンコーダに対する一般化GBNの性能を評価する。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Differentially Private Non-convex Learning for Multi-layer Neural Networks [35.24835396398768]
  本稿では,単一出力ノードを持つ(多層)完全連結ニューラルネットワークに対する差分的タンジェント最適化の問題に焦点をあてる。 ニューラルカーネル理論の最近の進歩を利用して、サンプルサイズとネットワーク幅の両方が十分に大きい場合に、最初の過剰人口リスクを提供する。
  論文  参考訳（メタデータ） (2023-10-12T15:48:14Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models [32.52492468276371]
  本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。 Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。 実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
  論文  参考訳（メタデータ） (2022-08-30T10:28:50Z)
• An Evidential Neural Network Model for Regression Based on Random Fuzzy Numbers [6.713564212269253]
  本稿では,レグレッションのための距離ベースニューラルネットワークモデルを提案する。 このモデルは、入力ベクトルとプロトタイプとの交叉を証拠の断片として解釈する。 実際のデータセットによる実験は、メソッドの非常に優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-08-01T07:13:31Z)
• An Energy-Based Prior for Generative Saliency [62.79775297611203]
  本稿では,情報的エネルギーベースモデルを事前分布として採用する,新たな生成正当性予測フレームワークを提案する。 生成サリエンシモデルを用いて,画像から画素単位の不確実性マップを得ることができ,サリエンシ予測におけるモデル信頼度を示す。 実験結果から, エネルギーベース先行モデルを用いた生成塩分率モデルでは, 精度の高い塩分率予測だけでなく, 人間の知覚と整合した信頼性の高い不確実性マップを実現できることが示された。
  論文  参考訳（メタデータ） (2022-04-19T10:51:00Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)
• Disentanglement by Nonlinear ICA with General Incompressible-flow Networks (GIN) [30.74691299906988]
  表現学習の中心的な問題は、任意の複雑な生成過程の真の潜伏変数をどの条件で再構築できるかを問うものである。 Khehemらによる非線形ICAに関する最近の画期的な研究は、この疑問に幅広い条件生成過程のクラスで答えている。 我々は、この重要な結果を現実世界のデータへの応用に関係した方向に拡張する。
  論文  参考訳（メタデータ） (2020-01-14T16:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。