論文の概要: Reducing the Amortization Gap in Variational Autoencoders: A Bayesian
Random Function Approach
- arxiv url: http://arxiv.org/abs/2102.03151v1
- Date: Fri, 5 Feb 2021 13:01:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-08 13:01:48.881420
- Title: Reducing the Amortization Gap in Variational Autoencoders: A Bayesian
Random Function Approach
- Title(参考訳): 変分オートエンコーダにおけるアモルティゼーションギャップの低減:ベイズランダム関数アプローチ
- Authors: Minyoung Kim, Vladimir Pavlovic
- Abstract要約: GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。
提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
- 参考スコア(独自算出の注目度): 38.45568741734893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational autoencoder (VAE) is a very successful generative model whose key
element is the so called amortized inference network, which can perform test
time inference using a single feed forward pass. Unfortunately, this comes at
the cost of degraded accuracy in posterior approximation, often underperforming
the instance-wise variational optimization. Although the latest semi-amortized
approaches mitigate the issue by performing a few variational optimization
updates starting from the VAE's amortized inference output, they inherently
suffer from computational overhead for inference at test time. In this paper,
we address the problem in a completely different way by considering a random
inference model, where we model the mean and variance functions of the
variational posterior as random Gaussian processes (GP). The motivation is that
the deviation of the VAE's amortized posterior distribution from the true
posterior can be regarded as random noise, which allows us to take into account
the uncertainty in posterior approximation in a principled manner. In
particular, our model can quantify the difficulty in posterior approximation by
a Gaussian variational density. Inference in our GP model is done by a single
feed forward pass through the network, significantly faster than semi-amortized
methods. We show that our approach attains higher test data likelihood than the
state-of-the-arts on several benchmark datasets.
- Abstract(参考訳): 可変オートエンコーダ(VAE)は、キー要素がいわゆる償却推論ネットワークである非常に成功した生成モデルであり、単一のフィードフォワードパスを使用してテスト時間推論を実行できます。
残念なことに、これは後続近似の分解精度のコストがかかり、しばしばインスタンス単位の変分最適化を過小評価する。
最新の半修正アプローチは、VAEの償却推論出力から始まるいくつかの変分最適化の更新によって問題を緩和するが、それらは本質的に、テスト時の推論の計算オーバーヘッドに悩まされている。
本稿では,変分後部の平均および分散関数をランダムガウス過程(GP)としてモデル化するランダム推論モデルを考えることにより,問題を完全に異なる方法で解決する。
本研究の動機は,VAEの再生後分布と真の後部分布とのずれをランダムノイズとみなすことができ,原理的に後部近似の不確かさを考慮できる点にある。
特に、我々のモデルはガウス変分密度による後部近似の難しさを定量化することができる。
GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。
提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
関連論文リスト
- Variational Bayes image restoration with compressive autoencoders [5.514022022280169]
逆問題の正規化は、計算イメージングにおいて最重要となる。
最先端のプラグアンドプレイ法は、ニューラルデノイザによって提供される暗黙の正規化に依存している。
本稿では,潜時推定を行う変分ベイズ潜時推定(VBLE)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-29T15:49:31Z) - Neural Operator Variational Inference based on Regularized Stein
Discrepancy for Deep Gaussian Processes [23.87733307119697]
本稿では,深いガウス過程に対するニューラル演算子変分推論(NOVI)を提案する。
NOVIは、ニューラルジェネレータを使用してサンプリング装置を取得し、生成された分布と真の後部の間のL2空間における正規化スタインの離散性を最小化する。
提案手法が提案するバイアスは定数で発散を乗算することで制御可能であることを示す。
論文 参考訳(メタデータ) (2023-09-22T06:56:35Z) - Adaptive Sparse Gaussian Process [0.0]
これらの問題に対処できる最初の適応スパースガウスプロセス(GP)を提案する。
まず,変分スパースGPアルゴリズムを変形係数によって適応的に再構成する。
そこで我々は,新しいサンプルが到着するたびに,スパースGPモデルの単一誘導点と残りのモデルパラメータを同時に更新することを提案する。
論文 参考訳(メタデータ) (2023-02-20T21:34:36Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳(メタデータ) (2022-11-30T18:59:27Z) - Post-Processing Temporal Action Detection [134.26292288193298]
時間的行動検出(TAD)法は、通常、入力された可変長のビデオを固定長のスニペット表現シーケンスに変換する際に、前処理のステップを踏む。
この前処理ステップは、ビデオを時間的にダウンサンプリングし、推論の解像度を低減し、元の時間分解における検出性能を阻害する。
モデルの再設計や再学習を伴わない新しいモデル非依存のポストプロセッシング手法を提案する。
論文 参考訳(メタデータ) (2022-11-27T19:50:37Z) - Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。
トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。
1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
論文 参考訳(メタデータ) (2022-05-27T11:13:17Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳(メタデータ) (2021-03-15T16:16:18Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳(メタデータ) (2021-02-02T06:15:15Z) - Variational Variance: Simple, Reliable, Calibrated Heteroscedastic Noise
Variance Parameterization [3.553493344868413]
本稿では,予測平均と分散キャリブレーションを検証し,予測分布が有意義なデータを生成する能力を評価するための批評を提案する。
ヘテロセダスティックな分散を多変量に処理するためには、これらのPPCを通過させるために分散を十分に規則化する必要がある。
論文 参考訳(メタデータ) (2020-06-08T19:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。