論文の概要: Self-Reflective Variational Autoencoder
- arxiv url: http://arxiv.org/abs/2007.05166v1
- Date: Fri, 10 Jul 2020 05:05:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 20:58:08.780434
- Title: Self-Reflective Variational Autoencoder
- Title(参考訳): 自己反射型変分オートエンコーダ
- Authors: Ifigeneia Apostolopoulou, Elan Rosenfeld, Artur Dubrawski
- Abstract要約: 変分オートエンコーダ(VAE)は潜在変数生成モデルを学習するための強力なフレームワークである。
自己回帰推論(self-reflective inference)と呼ばれるソリューションを導入します。
実験では, 後部と後部を正確に一致させることの明確な利点を実証的に示す。
- 参考スコア(独自算出の注目度): 21.054722609128525
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Variational Autoencoder (VAE) is a powerful framework for learning
probabilistic latent variable generative models. However, typical assumptions
on the approximate posterior distribution of the encoder and/or the prior,
seriously restrict its capacity for inference and generative modeling.
Variational inference based on neural autoregressive models respects the
conditional dependencies of the exact posterior, but this flexibility comes at
a cost: such models are expensive to train in high-dimensional regimes and can
be slow to produce samples. In this work, we introduce an orthogonal solution,
which we call self-reflective inference. By redesigning the hierarchical
structure of existing VAE architectures, self-reflection ensures that the
stochastic flow preserves the factorization of the exact posterior,
sequentially updating the latent codes in a recurrent manner consistent with
the generative model. We empirically demonstrate the clear advantages of
matching the variational posterior to the exact posterior - on binarized MNIST,
self-reflective inference achieves state-of-the art performance without
resorting to complex, computationally expensive components such as
autoregressive layers. Moreover, we design a variational normalizing flow that
employs the proposed architecture, yielding predictive benefits compared to its
purely generative counterpart. Our proposed modification is quite general and
complements the existing literature; self-reflective inference can naturally
leverage advances in distribution estimation and generative modeling to improve
the capacity of each layer in the hierarchy.
- Abstract(参考訳): 変分オートエンコーダ(VAE)は確率潜在変数生成モデルを学習するための強力なフレームワークである。
しかし、エンコーダおよび/またはそれ以前の近似後部分布に関する典型的な仮定は、推論と生成モデリングの能力を大幅に制限する。
神経自己回帰モデルに基づく変分推論は、正確な後部の条件依存性を尊重するが、この柔軟性はコストがかかる。
本研究では,自己回帰推論と呼ばれる直交解を提案する。
既存のvaeアーキテクチャの階層構造を再設計することにより、自己回帰は、確率的フローが正確な後方の分解を保ち、累積モデルと一致した再帰的な方法で潜在符号を順次更新することを保証する。
両項化MNISTでは, 自己回帰的推論は, 自己回帰的層のような複雑で計算コストのかかる部品を使わずに, 最先端の芸術的性能を実現する。
さらに,提案手法を応用した変分正規化フローの設計を行い,純粋に生成的なフローと比較し,予測的な利点を得た。
自己回帰推論は、階層内の各レイヤのキャパシティを改善するために、分布推定と生成モデリングの進歩を自然に活用することができる。
関連論文リスト
- Solving Inverse Problems with Model Mismatch using Untrained Neural
Networks within Model-based Architectures [15.896809554085973]
モデルベースアーキテクチャでは,各インスタンスの計測領域におけるデータの一貫性を一致させるために,トレーニングされていないフォワードモデル残差ブロックを導入する。
実験では、アーティファクトの削除と3つの異なるアプリケーションにわたる詳細の保存において、大幅な品質改善が示されている。
論文 参考訳(メタデータ) (2024-03-07T19:02:13Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - Exploiting Diffusion Prior for Real-World Image Super-Resolution [81.0962494325732]
本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。
時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
論文 参考訳(メタデータ) (2023-05-11T17:55:25Z) - Distributional Learning of Variational AutoEncoder: Application to
Synthetic Data Generation [0.7614628596146602]
本稿では,VAEフレームワークの計算上の利点を犠牲にすることなく,モデル容量を拡大する手法を提案する。
VAEモデルのデコーダは、非対称ラプラス分布の無限混合からなる。
提案したモデルを合成データ生成に適用し,特にデータプライバシの調整が容易であることを示す。
論文 参考訳(メタデータ) (2023-02-22T11:26:50Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳(メタデータ) (2022-11-30T18:59:27Z) - Adversarial and Contrastive Variational Autoencoder for Sequential
Recommendation [25.37244686572865]
本稿では、逐次レコメンデーションのためのAdversarial and Contrastive Variational Autoencoder (ACVAE) と呼ばれる新しい手法を提案する。
まず,本モデルが高品質な潜在変数を生成することを可能にするadversarial variational bayesフレームワークの下で,シーケンス生成のためのadversarial trainingを導入する。
さらに、シーケンスをエンコードする場合、シーケンス内のグローバルおよびローカルの関係をキャプチャするために、繰り返しおよび畳み込み構造を適用します。
論文 参考訳(メタデータ) (2021-03-19T09:01:14Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳(メタデータ) (2021-02-02T06:15:15Z) - Improving the Reconstruction of Disentangled Representation Learners via
Multi-Stage Modelling [36.511724015405036]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
モデルが相関変数を学習するのに十分な能力を持っていないため,不整合表現学習と再構成品質のトレードオフがもたらされる。
本稿では,既存の不整合表現学習手法を用いて,非整合因子をまず学習する,新しい多段階モデリング手法を提案する。
提案するマルチステージモデルは,複数の標準ベンチマークにおいて等価なアンタングル性能を有する現在の最先端手法よりも,はるかに高い再現性を有することを示す。
論文 参考訳(メタデータ) (2020-10-25T18:51:15Z) - Learning Deep-Latent Hierarchies by Stacking Wasserstein Autoencoders [22.54887526392739]
本稿では, 最適輸送に基づくディープラーニング階層を用いたモデル学習手法を提案する。
提案手法は, VAEの「潜伏変数崩壊」問題を回避することで, 生成モデルをその深部潜伏階層を完全に活用することを可能にした。
論文 参考訳(メタデータ) (2020-10-07T15:04:20Z) - Haar Wavelet based Block Autoregressive Flows for Trajectories [129.37479472754083]
歩行者等の軌道予測は,自律型エージェントの性能向上に不可欠である。
本稿では分割結合を利用した新しいハールウェーブレットに基づくブロック自己回帰モデルを提案する。
実世界の2つのデータセット上で、多種多様な正確な軌跡を生成するアプローチの利点について説明する。
論文 参考訳(メタデータ) (2020-09-21T13:57:10Z) - Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。
我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。
我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文 参考訳(メタデータ) (2020-04-08T09:07:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。