論文の概要: VAE-KRnet and its applications to variational Bayes
- arxiv url: http://arxiv.org/abs/2006.16431v2
- Date: Sat, 11 Dec 2021 20:48:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 14:05:22.739292
- Title: VAE-KRnet and its applications to variational Bayes
- Title（参考訳）: VAE-KRnetと変分ベイズへの応用
- Authors: Xiaoliang Wan, Shuangqing Wei
- Abstract要約: 我々は密度推定や近似のための生成モデル VAE-KRnet を提案している。
VAEはラテント空間を捕捉する次元還元法であり、KRnetはラテント変数の分布をモデル化する。
VAE-KRnetは、データ分布または任意の確率密度関数を近似する密度モデルとして用いられる。
- 参考スコア（独自算出の注目度）: 4.9545850065593875
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we have proposed a generative model, called VAE-KRnet, for
density estimation or approximation, which combines the canonical variational
autoencoder (VAE) with our recently developed flow-based generative model,
called KRnet. VAE is used as a dimension reduction technique to capture the
latent space, and KRnet is used to model the distribution of the latent
variable. Using a linear model between the data and the latent variable, we
show that VAE-KRnet can be more effective and robust than the canonical VAE.
VAE-KRnet can be used as a density model to approximate either data
distribution or an arbitrary probability density function (PDF) known up to a
constant. VAE-KRnet is flexible in terms of dimensionality. When the number of
dimensions is relatively small, KRnet can effectively approximate the
distribution in terms of the original random variable. For high-dimensional
cases, we may use VAE-KRnet to incorporate dimension reduction. One important
application of VAE-KRnet is the variational Bayes for the approximation of the
posterior distribution. The variational Bayes approaches are usually based on
the minimization of the Kullback-Leibler (KL) divergence between the model and
the posterior. For high-dimensional distributions, it is very challenging to
construct an accurate density model due to the curse of dimensionality, where
extra assumptions are often introduced for efficiency. For instance, the
classical mean-field approach assumes mutual independence between dimensions,
which often yields an underestimated variance due to oversimplification. To
alleviate this issue, we include into the loss the maximization of the mutual
information between the latent random variable and the original random
variable, which helps keep more information from the region of low density such
that the estimation of variance is improved.
- Abstract（参考訳）: 本研究では,標準変分オートエンコーダ(vae)と最近開発したフローベース生成モデル(krnet)を組み合わせた,密度推定や近似のためのvae-krnetと呼ばれる生成モデルを提案する。
vae は潜在空間をキャプチャする次元減少技術として使われ、krnet は潜在変数の分布をモデル化するために用いられる。
データと潜伏変数の間の線形モデルを用いて、VAE-KRnetは標準VAEよりも効果的で堅牢であることを示す。
VAE-KRnetは、データ分布または任意の確率密度関数(PDF)を定数に近似する密度モデルとして用いられる。
VAE-KRnetは次元の点で柔軟である。
次元が比較的小さい場合、krnetは元の確率変数の項で分布を効果的に近似することができる。
高次元の場合、VAE-KRnetを用いて次元還元を組み込むことができる。
VAE-KRnetの1つの重要な応用は、後方分布の近似のための変分ベイズである。
変分ベイズアプローチは、通常、モデルと後部の間のkullback-leibler (kl)の分岐の最小化に基づいている。
高次元分布の場合、効率のために余分な仮定がしばしば導入される次元の呪いのために正確な密度モデルを構築することは非常に困難である。
例えば、古典的な平均場アプローチは次元間の相互独立性を前提としており、これはしばしば過単純化によって過小評価された分散をもたらす。
この問題を軽減するために,潜在確率変数と元の確率変数との相互情報の最大化の損失を考慮に入れ,分散の推定が改善されるように低密度領域からの情報をより多く保持する。
関連論文リスト
- Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳（メタデータ） (2024-04-24T09:04:36Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳（メタデータ） (2023-11-01T12:17:05Z) - Variational autoencoder with weighted samples for high-dimensional
non-parametric adaptive importance sampling [0.0]
既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。
モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。
提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
論文 参考訳（メタデータ） (2023-10-13T15:40:55Z) - Distributed Variational Inference for Online Supervised Learning [15.038649101409804]
本稿では,スケーラブルな分散確率的推論アルゴリズムを提案する。
センサネットワークにおける連続変数、難解な後部データ、大規模リアルタイムデータに適用できる。
論文 参考訳（メタデータ） (2023-09-05T22:33:02Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳（メタデータ） (2022-02-02T20:11:33Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。
モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。
提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文 参考訳（メタデータ） (2021-11-22T06:26:29Z) - Information Theoretic Structured Generative Modeling [13.117829542251188]
構造生成モデル (Structured Generative Model, SGM) と呼ばれる新しい生成モデルフレームワークが提案され, 簡単な最適化が可能となった。
この実装では、無限のガウス混合モデルを学習するために適合した単一白色ノイズ源への正則入力によって駆動される1つのニューラルネットワークを採用している。
予備的な結果は、SGMがデータ効率と分散、従来のガウス混合モデルと変分混合モデル、および敵ネットワークのトレーニングにおいてMINE推定を著しく改善することを示している。
論文 参考訳（メタデータ） (2021-10-12T07:44:18Z) - Addressing Variance Shrinkage in Variational Autoencoders using Quantile
Regression [0.0]
可変変分オートエンコーダ (VAE) は, 医用画像の病変検出などの応用において, 異常検出の一般的なモデルとなっている。
本稿では,分散の縮小や過小評価といったよく知られた問題を避けるための代替手法について述べる。
ガウスの仮定の下で推定された定量値を用いて平均値と分散値を計算し、再構成確率を外乱検出や異常検出の原理的アプローチとして計算する。
論文 参考訳（メタデータ） (2020-10-18T17:37:39Z) - Variational Hyper-Encoding Networks [62.74164588885455]
ニューラルネットワークパラメータの分布を符号化するHyperVAEというフレームワークを提案する。
遅延符号の後部分布を予測し,行列ネットワークデコーダを用いて後部分布q(theta)を生成する。
論文 参考訳（メタデータ） (2020-05-18T06:46:09Z) - A Batch Normalized Inference Network Keeps the KL Vanishing Away [35.40781000297285]
変分オートエンコーダ(VAE)はモデルの後続変数を近似するために広く用いられている。
VAEはしばしば「後崩壊」と呼ばれる退化した局所最適値に収束する
論文 参考訳（メタデータ） (2020-04-27T05:20:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。