論文の概要: Variational (Gradient) Estimate of the Score Function in Energy-based
Latent Variable Models
- arxiv url: http://arxiv.org/abs/2010.08258v3
- Date: Sun, 6 Jun 2021 13:26:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 20:21:59.628595
- Title: Variational (Gradient) Estimate of the Score Function in Energy-based
Latent Variable Models
- Title(参考訳): エネルギーベース潜在変数モデルにおけるスコア関数の変分的(勾配)推定
- Authors: Fan Bao, Kun Xu, Chongxuan Li, Lanqing Hong, Jun Zhu, Bo Zhang
- Abstract要約: 本稿では,一般的なEBLVMにおけるモデルパラメータに対するスコア関数とその勾配の変動推定について述べる。
最小限のモデル仮定で、VaESとVaGESは、EBLVMを学習するためのカーネル化されたSteindisrepancy(KSD)およびスコアマッチング(SM)ベースのメソッドに適用できる。
- 参考スコア(独自算出の注目度): 46.724746997697416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The learning and evaluation of energy-based latent variable models (EBLVMs)
without any structural assumptions are highly challenging, because the true
posteriors and the partition functions in such models are generally
intractable. This paper presents variational estimates of the score function
and its gradient with respect to the model parameters in a general EBLVM,
referred to as VaES and VaGES respectively. The variational posterior is
trained to minimize a certain divergence to the true model posterior and the
bias in both estimates can be bounded by the divergence theoretically. With a
minimal model assumption, VaES and VaGES can be applied to the kernelized Stein
discrepancy (KSD) and score matching (SM)-based methods to learn EBLVMs.
Besides, VaES can also be used to estimate the exact Fisher divergence between
the data and general EBLVMs.
- Abstract(参考訳): エネルギーに基づく潜在変数モデル(EBLVM)の学習と評価は、構造的仮定を含まないため、真の後続関数とそのようなモデルの分割関数は一般に難解である。
本稿では,VaES と VaGES と呼ばれる一般的な EBLVM のモデルパラメータに対するスコア関数とその勾配の変動推定について述べる。
変分後部は真のモデル後部への偏差を最小限に抑えるために訓練され、両推定の偏差は理論的に偏差によって境界づけられる。
最小限のモデル仮定で、VaESとVaGESは、EBLVMを学習するためのカーネル化されたSteindisrepancy(KSD)およびスコアマッチング(SM)ベースのメソッドに適用できる。
さらに、VaESはデータと一般的なEBLVM間の正確なフィッシャーの偏差を推定するためにも使用できる。
関連論文リスト
- Bayesian Model Selection via Mean-Field Variational Approximation [10.433170683584994]
平均場(MF)推論の非漸近特性をベイズ的枠組みの下で検討する。
BvM(Bernstein von-Mises)定理は、MF からの変分分布をモデル的不特定性(英語版)の下で表す。
論文 参考訳(メタデータ) (2023-12-17T04:48:25Z) - Theoretical Evaluation of Asymmetric Shapley Values for Root-Cause
Analysis [0.0]
非対称シェープ値 (ASV) は、一般的なSHAP付加的局所的説明法の変種である。
局所的な貢献が分散還元のグローバルな貢献とどのように対応するかを示す。
一般化加法モデル (GAM) を, ASV が望ましい特性を示す制限クラスとして同定する。
論文 参考訳(メタデータ) (2023-10-15T21:40:16Z) - Training Discrete Deep Generative Models via Gapped Straight-Through
Estimator [72.71398034617607]
再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。
この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。
実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
論文 参考訳(メタデータ) (2022-06-15T01:46:05Z) - Flexible Amortized Variational Inference in qBOLD MRI [56.4324135502282]
データから酸素抽出率(OEF)と脱酸素血液量(DBV)をより明瞭に決定する。
既存の推論手法では、DBVを過大評価しながら非常にノイズの多い、過小評価されたEFマップが得られる傾向にある。
本研究は, OEFとDBVの可算分布を推定できる確率論的機械学習手法について述べる。
論文 参考訳(メタデータ) (2022-03-11T10:47:16Z) - Generalised Gaussian Process Latent Variable Models (GPLVM) with
Stochastic Variational Inference [9.468270453795409]
ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。
このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。
我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
論文 参考訳(メタデータ) (2022-02-25T21:21:51Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。
所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。
実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
論文 参考訳(メタデータ) (2020-03-06T23:11:13Z) - Generic Unsupervised Optimization for a Latent Variable Model With
Exponential Family Observables [2.321323878201932]
潜時変数モデル(LVM)は、潜時変数のパラメータ化関数によって観測された変数を表す。
教師なし学習では、特定の非ガウス可観測体を仮定するLVMが検討されている。
指数関数系分布に対して同じ関数形式を特徴とする,非常に簡潔なパラメータ更新方程式の集合を導出できることを示す。
論文 参考訳(メタデータ) (2020-03-04T17:36:00Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳(メタデータ) (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。