論文の概要: Posterior Collapse in Linear Conditional and Hierarchical Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2306.05023v1
• Date: Thu, 8 Jun 2023 08:22:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 15:34:36.761688
• Title: Posterior Collapse in Linear Conditional and Hierarchical Variational Autoencoders
• Title（参考訳）: リニア条件と階層型変分オートエンコーダの後方崩壊
• Authors: Hien Dang and Tho Tran and Tan Nguyen and Nhat Ho
• Abstract要約: 変分オートエンコーダ(VAE)における後部崩壊現象は、学習された潜伏変数の品質を妨げうる。 本研究では, 後部崩壊の理論的理解を, 条件付きVAEと階層型VAEの2つの重要な, 広く普及しているがあまり研究されていないクラスに進める。 これらのモデルにおける後部崩壊の原因は、条件付きVAEの入力と出力の相関と、階層型VAEにおける学習可能なエンコーダ分散の影響を含むことを証明している。
• 参考スコア（独自算出の注目度）: 10.370855797025692
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The posterior collapse phenomenon in variational autoencoders (VAEs), where the variational posterior distribution closely matches the prior distribution, can hinder the quality of the learned latent variables. As a consequence of posterior collapse, the latent variables extracted by the encoder in VAEs preserve less information from the input data and thus fail to produce meaningful representations as input to the reconstruction process in the decoder. While this phenomenon has been an actively addressed topic related to VAEs performance, the theory for posterior collapse remains underdeveloped, especially beyond the standard VAEs. In this work, we advance the theoretical understanding of posterior collapse to two important and prevalent yet less studied classes of VAEs: conditional VAEs and hierarchical VAEs. Specifically, via a non-trivial theoretical analysis of linear conditional VAEs and hierarchical VAEs with two levels of latent, we prove that the cause of posterior collapses in these models includes the correlation between the input and output of the conditional VAEs and the effect of learnable encoder variance in the hierarchical VAEs. We empirically validate our theoretical findings for linear conditional and hierarchical VAEs and demonstrate that these results are also predictive for non-linear cases.
• Abstract（参考訳）: 変分自己エンコーダ (VAE) における後部崩壊現象は, 変分後部分布が先行分布と密接に一致し, 学習された潜伏変数の品質を損なう。 後方崩壊の結果、vaesのエンコーダによって抽出された潜在変数は入力データからの情報が少ないため、デコーダの再構成プロセスへの入力として有意義な表現を生成することができない。 この現象はvaes性能に関する話題として積極的に取り組まれているが、特に標準vaesを超える後方崩壊説は未開発のままである。 本研究では, 後方崩壊の理論的理解を, 条件的vaesと階層的vaesという, 重要かつ普及度の低い2つのvaesクラスに展開する。 具体的には,2段階の潜在性を有する線形条件付きvaesと階層型vaesの非自明な理論的解析により,これらのモデルにおける後方崩壊の原因は条件付きvaesの入出力と階層型vaesにおける学習可能なエンコーダ分散の相関関係を含むことを証明した。 線形条件および階層的VAEに関する理論的知見を実証的に検証し,これらの結果が非線形の場合においても予測可能であることを示す。

関連論文リスト

• Matching aggregate posteriors in the variational autoencoder [0.5759862457142761]
  変分オートエンコーダ(VAE)は、よく研究され、深い、潜伏変数モデル(DLVM)である。 本稿では,VAE に付随する目的関数を改良することにより,VAE の欠点を克服する。 提案手法はEmphaggregate variational autoencoder (AVAE) と命名され,VAEの理論的枠組みに基づいて構築されている。
  論文  参考訳（メタデータ） (2023-11-13T19:22:37Z)
• Posterior Consistency for Missing Data in Variational Autoencoders [11.18081298867526]
  本稿では,データから変分オートエンコーダ(VAE)を学習する際の問題点について考察する。 本稿では,この整合性を促進するエンコーダの後部分布の正規化手法を提案する。 この改良された性能は、正規化フローを備えたVAEを含む多くのVAEのクラスで観測できる。
  論文  参考訳（メタデータ） (2023-10-25T13:56:02Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Generalizing Variational Autoencoders with Hierarchical Empirical Bayes [6.273154057349038]
  確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。 鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
  論文  参考訳（メタデータ） (2020-07-20T18:18:39Z)
• Towards a Theoretical Understanding of the Robustness of Variational Autoencoders [82.68133908421792]
  敵攻撃や他の入力摂動に対する変分オートエンコーダ(VAE)の堅牢性を理解するために,我々は進出している。 確率モデルにおけるロバスト性のための新しい基準である$r$-robustnessを開発する。 遠心法を用いて訓練したVAEが、ロバストネスの指標でよく評価されていることを示す。
  論文  参考訳（メタデータ） (2020-07-14T21:22:29Z)
• Discrete Variational Attention Models for Language Generation [51.88612022940496]
  本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
  論文  参考訳（メタデータ） (2020-04-21T05:49:04Z)
• Variance Loss in Variational Autoencoders [0.0]
  生成されたデータの分散は、トレーニングデータよりも大幅に低い。 問題は、第2のVAEを使用して第1のVAEの潜伏空間をサンプリングする2段階の設定において特に関係がある。 第2のVAEの出力を通常の球面分布に再正規化することにより, 生成した試料の品質の急激な急激な急上昇が得られる。
  論文  参考訳（メタデータ） (2020-02-23T08:23:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。