論文の概要: Generalizing Variational Autoencoders with Hierarchical Empirical Bayes
- arxiv url: http://arxiv.org/abs/2007.10389v1
- Date: Mon, 20 Jul 2020 18:18:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 12:56:42.655339
- Title: Generalizing Variational Autoencoders with Hierarchical Empirical Bayes
- Title（参考訳）: 階層的経験ベイズを用いた変分オートエンコーダの一般化
- Authors: Wei Cheng, Gregory Darnell, Sohini Ramachandran, Lorin Crawford
- Abstract要約: 確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。
鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
- 参考スコア（独自算出の注目度）: 6.273154057349038
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational Autoencoders (VAEs) have experienced recent success as
data-generating models by using simple architectures that do not require
significant fine-tuning of hyperparameters. However, VAEs are known to suffer
from over-regularization which can lead to failure to escape local maxima. This
phenomenon, known as posterior collapse, prevents learning a meaningful latent
encoding of the data. Recent methods have mitigated this issue by
deterministically moment-matching an aggregated posterior distribution to an
aggregate prior. However, abandoning a probabilistic framework (and thus
relying on point estimates) can both lead to a discontinuous latent space and
generate unrealistic samples. Here we present Hierarchical Empirical Bayes
Autoencoder (HEBAE), a computationally stable framework for probabilistic
generative models. Our key contributions are two-fold. First, we make gains by
placing a hierarchical prior over the encoding distribution, enabling us to
adaptively balance the trade-off between minimizing the reconstruction loss
function and avoiding over-regularization. Second, we show that assuming a
general dependency structure between variables in the latent space produces
better convergence onto the mean-field assumption for improved posterior
inference. Overall, HEBAE is more robust to a wide-range of hyperparameter
initializations than an analogous VAE. Using data from MNIST and CelebA, we
illustrate the ability of HEBAE to generate higher quality samples based on FID
score than existing autoencoder-based approaches.
- Abstract（参考訳）: 変分オートエンコーダ(VAE)は、ハイパーパラメータの大幅な微調整を必要としない単純なアーキテクチャを用いて、データ生成モデルとして最近成功している。
しかし、VAEは過正規化に悩まされ、局所的な極大化を逃れることができないことが知られている。
この現象は後方崩壊と呼ばれ、データの有意義な潜在性エンコーディングを学ぶことを妨げる。
近年の手法では, 集約された後続分布を先行集合に決定的にマッチングすることでこの問題を緩和している。
しかし、確率的フレームワークを捨てる(したがって点推定に依存する)と不連続な潜在空間を導き、非現実的なサンプルを生成する。
本稿では,確率的生成モデルのための計算安定なフレームワークである階層的経験的ベイズオートエンコーダ(hebae)を提案する。
私たちの重要な貢献は2つです。
まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることができる。
第二に、潜在空間内の変数間の一般的な依存性構造を仮定すると、後進推論を改善する平均場仮定への収束性が向上することを示す。
全体として、EBAEは類似のVAEよりも広い範囲のハイパーパラメータ初期化に対して堅牢である。
MNISTとCelebAのデータを用いて、既存のオートエンコーダベースのアプローチよりも高品質なサンプルを生成する能力について説明する。
関連論文リスト
- A Pseudo-Semantic Loss for Autoregressive Models with Logical
Constraints [87.08677547257733]
ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。
本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。
また,スドクと最短経路予測の手法を自己回帰世代として評価した。
論文 参考訳（メタデータ） (2023-12-06T20:58:07Z) - Discouraging posterior collapse in hierarchical Variational Autoencoders
using context [19.47169312443202]
トップダウン階層のVAEは、深い潜伏構造を効果的に学習し、後部崩壊のような問題を回避できるという意見が一致している。
ここでは,必ずしもそうではないことを示すとともに,後方崩壊の問題も残る。
具体的には、離散コサイン変換を用いて最後の潜伏変数を得る。
論文 参考訳（メタデータ） (2023-02-20T13:44:47Z) - Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。
合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
論文 参考訳（メタデータ） (2023-01-02T06:16:56Z) - Exponentially Tilted Gaussian Prior for Variational Autoencoder [3.52359746858894]
近年の研究では, この課題に対して確率的生成モデルが不十分であることが示されている。
変分オートエンコーダ(VAE)の指数傾斜ガウス事前分布を提案する。
本モデルでは,標準ガウスVAEよりクオリティの高い画像サンプルが得られた。
論文 参考訳（メタデータ） (2021-11-30T18:28:19Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳（メタデータ） (2021-10-24T07:58:13Z) - Complex Event Forecasting with Prediction Suffix Trees: Extended
Technical Report [70.7321040534471]
複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。
このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。
複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-01T09:52:31Z) - Reducing the Amortization Gap in Variational Autoencoders: A Bayesian
Random Function Approach [38.45568741734893]
GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。
提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
論文 参考訳（メタデータ） (2021-02-05T13:01:12Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - Generative Model without Prior Distribution Matching [26.91643368299913]
変分オートエンコーダ(VAE)とその変分は、いくつかの先行分布を満たすために低次元の潜在表現を学習することによって古典的な生成モデルである。
我々は、先行変数に適合させるのではなく、先行変数が埋め込み分布と一致するように提案する。
論文 参考訳（メタデータ） (2020-09-23T09:33:24Z) - Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。
本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
論文 参考訳（メタデータ） (2020-04-30T13:27:26Z) - A Batch Normalized Inference Network Keeps the KL Vanishing Away [35.40781000297285]
変分オートエンコーダ(VAE)はモデルの後続変数を近似するために広く用いられている。
VAEはしばしば「後崩壊」と呼ばれる退化した局所最適値に収束する
論文 参考訳（メタデータ） (2020-04-27T05:20:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。