論文の概要: Unnormalized Variational Bayes
- arxiv url: http://arxiv.org/abs/2007.15130v1
- Date: Wed, 29 Jul 2020 21:58:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 19:54:35.527404
- Title: Unnormalized Variational Bayes
- Title（参考訳）: 非正規化変分ベイズ
- Authors: Saeed Saremi
- Abstract要約: 非正規化密度を近似するために経験的ベイズと変分ベイズを統一する。
このフレームワークは非正規化変分ベイズ (unnormalized variational Bayes, UVB) と呼ばれ、確率変数 $Y=X+N(0,sigma2 I_d)$ の潜在変数モデルを定式化したものである。
- 参考スコア（独自算出の注目度）: 1.599072005190786
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We unify empirical Bayes and variational Bayes for approximating unnormalized
densities. This framework, named unnormalized variational Bayes (UVB), is based
on formulating a latent variable model for the random variable
$Y=X+N(0,\sigma^2 I_d)$ and using the evidence lower bound (ELBO), computed by
a variational autoencoder, as a parametrization of the energy function of $Y$
which is then used to estimate $X$ with the empirical Bayes least-squares
estimator. In this intriguing setup, the $\textit{gradient}$ of the ELBO with
respect to noisy inputs plays the central role in learning the energy function.
Empirically, we demonstrate that UVB has a higher capacity to approximate
energy functions than the parametrization with MLPs as done in neural empirical
Bayes (DEEN). We especially showcase $\sigma=1$, where the differences between
UVB and DEEN become visible and qualitative in the denoising experiments. For
this high level of noise, the distribution of $Y$ is very smoothed and we
demonstrate that one can traverse in a single run $-$ without a restart $-$ all
MNIST classes in a variety of styles via walk-jump sampling with a fast-mixing
Langevin MCMC sampler. We finish by probing the encoder/decoder of the trained
models and confirm UVB $\neq$ VAE.
- Abstract（参考訳）: 非正規化密度を近似するために経験ベイと変分ベイを統一する。
非正規化された変分ベイズ (UVB) という名前のこのフレームワークは、確率変数 $Y=X+N(0,\sigma^2 I_d)$ の潜在変数モデルを定式化し、変分オートエンコーダによって計算されたエビデンスローバウンダ (ELBO) を用いて、Y$のエネルギー関数のパラメトリゼーションを行い、経験的ベイズ最小二乗推定器で$X$を推定する。
この興味深い設定では、ノイズ入力に対するELBOの$\textit{gradient}$がエネルギー関数の学習において中心的な役割を果たす。
実験的に、UVBは神経経験的ベイズ(DEEN)で実施したMPPによるパラメトリゼーションよりもエネルギー関数を近似する能力が高いことを示した。
特に$\sigma=1$では,UVBとDEENの違いが視覚的かつ質的になる。
この高レベルのノイズに対して、$Y$の分布は非常にスムーズであり、高速混合のLangevin MCMCサンプルラを使って、様々なスタイルのMNISTクラスを再起動することなく、シングルランで$-$でトラバースできることを示します。
トレーニングされたモデルのエンコーダ/デコーダを探索し、UVB $\neq$ VAEを確認する。
関連論文リスト
- A phase transition in sampling from Restricted Boltzmann Machines [2.6624014064407717]
制限ボルツマンマシンにおけるギブスサンプリング器の混合時間における位相遷移現象を証明した。
重要な洞察は、Gibbsサンプルと動的システムとのリンクである。
論文 参考訳（メタデータ） (2024-10-10T23:51:22Z) - Beta-Sigma VAE: Separating beta and decoder variance in Gaussian variational autoencoder [3.842994409438228]
変異オートエンコーダ(VAE)は確立された生成モデルであるが、その曖昧さで有名である。
本研究では、VAEのぼやけた出力問題を調査し、それを解決し、ガウスデコーダとベータVAEの$beta$の分散を利用した。
そこで本研究では,Beta-Sigma VAE (BS-VAE) を提案し,そのモデルで$beta$ と decoder の分散 $sigma2_x$ を明示的に分離する。
論文 参考訳（メタデータ） (2024-09-14T08:28:19Z) - Consistency Model is an Effective Posterior Sample Approximation for Diffusion Inverse Solvers [28.678613691787096]
過去の近似は後続の手段に依存しており、画像分布の支持には当てはまらない可能性がある。
本稿では,画像分布支援において有効なサンプルを生成することを保証する,後部近似のための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-02-09T02:23:47Z) - Kernelized Normalizing Constant Estimation: Bridging Bayesian Quadrature
and Bayesian Optimization [51.533164528799084]
小さい相対誤差内で正規化定数を推定するために、難易度は$lambda$の値に依存する。
関数評価がノイズである場合でも,このパターンは真であることがわかった。
論文 参考訳（メタデータ） (2024-01-11T07:45:09Z) - Contextual Combinatorial Bandits with Probabilistically Triggered Arms [55.9237004478033]
確率的に誘発される腕(C$2$MAB-T)を様々な滑らかさ条件下で検討した。
トリガー変調 (TPM) 条件の下では、C$2$-UC-Tアルゴリズムを考案し、後悔すべき$tildeO(dsqrtT)$を導出する。
論文 参考訳（メタデータ） (2023-03-30T02:51:00Z) - Neural Inference of Gaussian Processes for Time Series Data of Quasars [72.79083473275742]
クエーサースペクトルを完全に記述できる新しいモデルを提案する。
また、$textitNeural Inference$というガウス的プロセスパラメータの推論の新しいメソッドも導入しています。
CDRWモデルとNeural Inferenceの組み合わせはベースラインのDRWとMLEを大きく上回っている。
論文 参考訳（メタデータ） (2022-11-17T13:01:26Z) - Revealing Unobservables by Deep Learning: Generative Element Extraction
Networks (GEEN) [5.3028918247347585]
本稿では,ランダムサンプル中の潜伏変数$X*$を推定する新しい手法を提案する。
我々の知る限りでは、この論文は観測においてそのような識別を初めて提供するものである。
論文 参考訳（メタデータ） (2022-10-04T01:09:05Z) - Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。
我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
論文 参考訳（メタデータ） (2022-03-18T18:50:52Z) - The Sample Complexity of Robust Covariance Testing [56.98280399449707]
i. i. d.
形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。
汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。
サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
論文 参考訳（メタデータ） (2020-12-31T18:24:41Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z) - Learning and Inference in Imaginary Noise Models [1.599072005190786]
スムースな変分推論の概念は、デコーダのノイズモデルによってスムース化が暗黙的に強制されるときに現れる。
これは仮想ノイズモデルの概念であり、ノイズモデルは変分下界$mathcalL(sigma)$の関数形式を規定するが、ノイズデータは学習中に見ることはできない。
我々は、学習モデルに対して$mathcalD_rm KL sim sigma-nu$という興味深い電力法を報告し、未知ノイズに対する$sigma$-VAEの推論について検討する。
論文 参考訳（メタデータ） (2020-05-18T19:38:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。