論文の概要: Self-Reflective Variational Autoencoder
- arxiv url: http://arxiv.org/abs/2007.05166v1
- Date: Fri, 10 Jul 2020 05:05:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 20:58:08.780434
- Title: Self-Reflective Variational Autoencoder
- Title（参考訳）: 自己反射型変分オートエンコーダ
- Authors: Ifigeneia Apostolopoulou, Elan Rosenfeld, Artur Dubrawski
- Abstract要約: 変分オートエンコーダ(VAE)は潜在変数生成モデルを学習するための強力なフレームワークである。
自己回帰推論(self-reflective inference)と呼ばれるソリューションを導入します。
実験では, 後部と後部を正確に一致させることの明確な利点を実証的に示す。
- 参考スコア（独自算出の注目度）: 21.054722609128525
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Variational Autoencoder (VAE) is a powerful framework for learning
probabilistic latent variable generative models. However, typical assumptions
on the approximate posterior distribution of the encoder and/or the prior,
seriously restrict its capacity for inference and generative modeling.
Variational inference based on neural autoregressive models respects the
conditional dependencies of the exact posterior, but this flexibility comes at
a cost: such models are expensive to train in high-dimensional regimes and can
be slow to produce samples. In this work, we introduce an orthogonal solution,
which we call self-reflective inference. By redesigning the hierarchical
structure of existing VAE architectures, self-reflection ensures that the
stochastic flow preserves the factorization of the exact posterior,
sequentially updating the latent codes in a recurrent manner consistent with
the generative model. We empirically demonstrate the clear advantages of
matching the variational posterior to the exact posterior - on binarized MNIST,
self-reflective inference achieves state-of-the art performance without
resorting to complex, computationally expensive components such as
autoregressive layers. Moreover, we design a variational normalizing flow that
employs the proposed architecture, yielding predictive benefits compared to its
purely generative counterpart. Our proposed modification is quite general and
complements the existing literature; self-reflective inference can naturally
leverage advances in distribution estimation and generative modeling to improve
the capacity of each layer in the hierarchy.
- Abstract（参考訳）: 変分オートエンコーダ(VAE)は確率潜在変数生成モデルを学習するための強力なフレームワークである。
しかし、エンコーダおよび/またはそれ以前の近似後部分布に関する典型的な仮定は、推論と生成モデリングの能力を大幅に制限する。
神経自己回帰モデルに基づく変分推論は、正確な後部の条件依存性を尊重するが、この柔軟性はコストがかかる。
本研究では,自己回帰推論と呼ばれる直交解を提案する。
既存のvaeアーキテクチャの階層構造を再設計することにより、自己回帰は、確率的フローが正確な後方の分解を保ち、累積モデルと一致した再帰的な方法で潜在符号を順次更新することを保証する。
両項化MNISTでは, 自己回帰的推論は, 自己回帰的層のような複雑で計算コストのかかる部品を使わずに, 最先端の芸術的性能を実現する。
さらに,提案手法を応用した変分正規化フローの設計を行い,純粋に生成的なフローと比較し,予測的な利点を得た。
自己回帰推論は、階層内の各レイヤのキャパシティを改善するために、分布推定と生成モデリングの進歩を自然に活用することができる。
関連論文リスト
- COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。
我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。
当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
論文 参考訳（メタデータ） (2024-10-12T23:56:19Z) - Approximate learning of parsimonious Bayesian context trees [0.0]
提案するフレームワークは、合成および実世界のデータ例に基づいてテストされる。
これは、実際のタンパク質配列やハニーポットコンピュータターミナルセッションに適合すると、既存のシーケンスモデルより優れている。
論文 参考訳（メタデータ） (2024-07-27T11:50:40Z) - Solving Inverse Problems with Model Mismatch using Untrained Neural Networks within Model-based Architectures [14.551812310439004]
モデルベースアーキテクチャでは,各インスタンスの計測領域におけるデータの一貫性を一致させるために,トレーニングされていないフォワードモデル残差ブロックを導入する。
提案手法は,パラメータ感受性が低く,追加データを必要としない統一解を提供し,前方モデルの同時適用と1パスの再構成を可能にする。
論文 参考訳（メタデータ） (2024-03-07T19:02:13Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。
時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
論文 参考訳（メタデータ） (2023-05-11T17:55:25Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳（メタデータ） (2022-11-30T18:59:27Z) - Adversarial and Contrastive Variational Autoencoder for Sequential
Recommendation [25.37244686572865]
本稿では、逐次レコメンデーションのためのAdversarial and Contrastive Variational Autoencoder (ACVAE) と呼ばれる新しい手法を提案する。
まず,本モデルが高品質な潜在変数を生成することを可能にするadversarial variational bayesフレームワークの下で,シーケンス生成のためのadversarial trainingを導入する。
さらに、シーケンスをエンコードする場合、シーケンス内のグローバルおよびローカルの関係をキャプチャするために、繰り返しおよび畳み込み構造を適用します。
論文 参考訳（メタデータ） (2021-03-19T09:01:14Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳（メタデータ） (2021-02-02T06:15:15Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Learning Deep-Latent Hierarchies by Stacking Wasserstein Autoencoders [22.54887526392739]
本稿では, 最適輸送に基づくディープラーニング階層を用いたモデル学習手法を提案する。
提案手法は, VAEの「潜伏変数崩壊」問題を回避することで, 生成モデルをその深部潜伏階層を完全に活用することを可能にした。
論文 参考訳（メタデータ） (2020-10-07T15:04:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。