論文の概要: Posterior Collapse and Latent Variable Non-identifiability
- arxiv url: http://arxiv.org/abs/2301.00537v1
- Date: Mon, 2 Jan 2023 06:16:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 14:07:29.414933
- Title: Posterior Collapse and Latent Variable Non-identifiability
- Title（参考訳）: 後方崩壊と潜在変数非識別性
- Authors: Yixin Wang, David M. Blei, John P. Cunningham
- Abstract要約: 柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。
合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
- 参考スコア（独自算出の注目度）: 54.842098835445
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Variational autoencoders model high-dimensional data by positing
low-dimensional latent variables that are mapped through a flexible
distribution parametrized by a neural network. Unfortunately, variational
autoencoders often suffer from posterior collapse: the posterior of the latent
variables is equal to its prior, rendering the variational autoencoder useless
as a means to produce meaningful representations. Existing approaches to
posterior collapse often attribute it to the use of neural networks or
optimization issues due to variational approximation. In this paper, we
consider posterior collapse as a problem of latent variable
non-identifiability. We prove that the posterior collapses if and only if the
latent variables are non-identifiable in the generative model. This fact
implies that posterior collapse is not a phenomenon specific to the use of
flexible distributions or approximate inference. Rather, it can occur in
classical probabilistic models even with exact inference, which we also
demonstrate. Based on these results, we propose a class of latent-identifiable
variational autoencoders, deep generative models which enforce identifiability
without sacrificing flexibility. This model class resolves the problem of
latent variable non-identifiability by leveraging bijective Brenier maps and
parameterizing them with input convex neural networks, without special
variational inference objectives or optimization tricks. Across synthetic and
real datasets, latent-identifiable variational autoencoders outperform existing
methods in mitigating posterior collapse and providing meaningful
representations of the data.
- Abstract（参考訳）: 変動オートエンコーダは、ニューラルネットワークによってパラメトリ化された柔軟な分布を通してマッピングされる低次元の潜在変数を肯定することで高次元データをモデル化する。
不運なことに、変分オートエンコーダはしばしば後方崩壊に苦しみ、潜在変数の後方は前と等しいため、変分オートエンコーダは有意義な表現を生成する手段として役に立たない。
後方崩壊に対する既存のアプローチは、ニューラルネットワークの使用や、変分近似による最適化の問題に起因することが多い。
本稿では,後方崩壊を潜在変数非識別可能性の問題として捉える。
後続変数が生成モデルで識別できない場合にのみ、後続変数が崩壊することを証明する。
この事実は、後方崩壊がフレキシブル分布や近似推論の使用に特有の現象ではないことを示唆している。
むしろ、我々が示すような正確な推論であっても、古典的な確率モデルで起こりうる。
これらの結果に基づき,可逆同定型変分オートエンコーダのクラスと,柔軟性を犠牲にすることなく識別性を強制する深層生成モデルを提案する。
このモデルクラスは、単射ブレニエ写像を利用して、特別な変分推論目的や最適化のトリックを伴わずに、入力凸ニューラルネットワークでそれらをパラメータ化することで、潜時変数の非識別性の問題を解決する。
合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
関連論文リスト
- A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。
本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。
また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
論文 参考訳（メタデータ） (2024-08-06T18:18:37Z) - Predictive variational autoencoder for learning robust representations
of time-series data [0.0]
本稿では,次点を予測するVAEアーキテクチャを提案する。
VAEの2つの制約は、時間とともにスムーズであることを示し、堅牢な潜伏表現を生成し、合成データセット上の潜伏因子を忠実に回収する。
論文 参考訳（メタデータ） (2023-12-12T02:06:50Z) - Score-based Causal Representation Learning with Interventions [54.735484409244386]
本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。
目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
論文 参考訳（メタデータ） (2023-01-19T18:39:48Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳（メタデータ） (2022-03-29T04:54:06Z) - Structural Sieves [0.0]
特に, あるディープネットワークは, 近似回帰関数に対する非パラメトリックシーブとして好適であることを示す。
このような制約は、潜在変数モデルの十分に柔軟なバージョンが、実際には未知の回帰関数を近似するために使用される場合、より簡単な方法で課されることを示す。
論文 参考訳（メタデータ） (2021-12-01T16:37:02Z) - Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。
分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。
本手法は精度と不確実性の両方を向上することを示す。
論文 参考訳（メタデータ） (2021-09-27T01:09:08Z) - Bayesian neural networks and dimensionality reduction [4.039245878626346]
そのような問題に対するモデルに基づくアプローチのクラスは、未知の非線形回帰関数における潜在変数を含む。
VAEは、近似を用いて計算をトラクタブルにする人工知能ニューラルネットワーク(ANN)である。
潜在変数を持つANNモデルにおいて,マルコフ連鎖モンテカルロサンプリングアルゴリズムをベイズ推定のために展開する。
論文 参考訳（メタデータ） (2020-08-18T17:11:07Z) - Generalizing Variational Autoencoders with Hierarchical Empirical Bayes [6.273154057349038]
確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。
鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
論文 参考訳（メタデータ） (2020-07-20T18:18:39Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Neural Decomposition: Functional ANOVA with Variational Autoencoders [9.51828574518325]
変分オートエンコーダ (VAEs) は次元減少に対する一般的なアプローチとなっている。
VAEのブラックボックスの性質のため、医療やゲノミクスの応用には限界があった。
本研究では,条件付きVAEの変動源の特徴付けに焦点をあてる。
論文 参考訳（メタデータ） (2020-06-25T10:29:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。