論文の概要: Beyond Vanilla Variational Autoencoders: Detecting Posterior Collapse in Conditional and Hierarchical Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2306.05023v2
• Date: Mon, 22 Jan 2024 08:47:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 21:39:30.987689
• Title: Beyond Vanilla Variational Autoencoders: Detecting Posterior Collapse in Conditional and Hierarchical Variational Autoencoders
• Title（参考訳）: バニラ変分オートエンコーダを超える:条件付きおよび階層的変分オートエンコーダにおける後部崩壊の検出
• Authors: Hien Dang and Tho Tran and Tan Nguyen and Nhat Ho
• Abstract要約: 変分オートエンコーダ(VAE)における後部崩壊現象は、学習された潜伏変数の品質を妨げうる。 本研究では, 後部崩壊の理論的理解を, 条件付きVAEと階層型VAEの2つの重要な, 広く普及しているがあまり研究されていないクラスに進める。
• 参考スコア（独自算出の注目度）: 27.981055963228197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The posterior collapse phenomenon in variational autoencoder (VAE), where the variational posterior distribution closely matches the prior distribution, can hinder the quality of the learned latent variables. As a consequence of posterior collapse, the latent variables extracted by the encoder in VAE preserve less information from the input data and thus fail to produce meaningful representations as input to the reconstruction process in the decoder. While this phenomenon has been an actively addressed topic related to VAE performance, the theory for posterior collapse remains underdeveloped, especially beyond the standard VAE. In this work, we advance the theoretical understanding of posterior collapse to two important and prevalent yet less studied classes of VAE: conditional VAE and hierarchical VAE. Specifically, via a non-trivial theoretical analysis of linear conditional VAE and hierarchical VAE with two levels of latent, we prove that the cause of posterior collapses in these models includes the correlation between the input and output of the conditional VAE and the effect of learnable encoder variance in the hierarchical VAE. We empirically validate our theoretical findings for linear conditional and hierarchical VAE and demonstrate that these results are also predictive for non-linear cases with extensive experiments.
• Abstract（参考訳）: 変動型オートエンコーダ(vae)における後方崩壊現象は、変動型後方分布が事前分布と密接に一致する場合、学習された潜在変数の品質を阻害する可能性がある。 後続崩壊の結果、VAEのエンコーダによって抽出された潜伏変数は、入力データからの情報が少なくなり、デコーダの再構成プロセスへの入力として有意義な表現が得られない。 この現象はvae性能に関する話題として積極的に取り組まれているが、特に標準vaeを超える後方崩壊説は未開発のままである。 本研究では, 後方崩壊の理論的理解を, 条件的vaeと階層的vaeという, 重要かつ普及度の低い2つのvaeクラスに進める。 具体的には,2段階の潜在性を有する線形条件vaeと階層vaeの非自明な理論的解析により,これらのモデルにおける後方崩壊の原因が条件vaeの入出力と階層vaeにおける学習可能なエンコーダ分散の相関関係を含むことを証明した。 線形条件および階層的VAEに関する理論的知見を実証的に検証し,これらの結果が広範な実験を伴う非線形症例においても予測可能であることを示す。

関連論文リスト

• On Self-Adaptive Perception Loss Function for Sequential Lossy Compression [29.361832071511795]
  我々は、平均二乗誤差(MSE)を歪み損失とする因果的、低レイテンシ、逐次的損失圧縮と、再建の現実性を高めるための知覚損失関数(PLF)を考察した。 我々は、一階マルコフ源に対する理論速度歪み知覚関数を確立し、ガウス模型を詳細に解析する。 提案手法は, 自己適応型知覚損失関数 (PLF-SA) と呼ばれる。
  論文  参考訳（メタデータ） (2025-02-15T01:41:53Z)
• Matching aggregate posteriors in the variational autoencoder [0.5759862457142761]
  変分オートエンコーダ(VAE)は、よく研究され、深い、潜伏変数モデル(DLVM)である。 本稿では,VAE に付随する目的関数を改良することにより,VAE の欠点を克服する。 提案手法はEmphaggregate variational autoencoder (AVAE) と命名され,VAEの理論的枠組みに基づいて構築されている。
  論文  参考訳（メタデータ） (2023-11-13T19:22:37Z)
• Posterior Consistency for Missing Data in Variational Autoencoders [11.18081298867526]
  本稿では,データから変分オートエンコーダ(VAE)を学習する際の問題点について考察する。 本稿では,この整合性を促進するエンコーダの後部分布の正規化手法を提案する。 この改良された性能は、正規化フローを備えたVAEを含む多くのVAEのクラスで観測できる。
  論文  参考訳（メタデータ） (2023-10-25T13:56:02Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Generalizing Variational Autoencoders with Hierarchical Empirical Bayes [6.273154057349038]
  確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。 鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
  論文  参考訳（メタデータ） (2020-07-20T18:18:39Z)
• Towards a Theoretical Understanding of the Robustness of Variational Autoencoders [82.68133908421792]
  敵攻撃や他の入力摂動に対する変分オートエンコーダ(VAE)の堅牢性を理解するために,我々は進出している。 確率モデルにおけるロバスト性のための新しい基準である$r$-robustnessを開発する。 遠心法を用いて訓練したVAEが、ロバストネスの指標でよく評価されていることを示す。
  論文  参考訳（メタデータ） (2020-07-14T21:22:29Z)
• Discrete Variational Attention Models for Language Generation [51.88612022940496]
  本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
  論文  参考訳（メタデータ） (2020-04-21T05:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。