論文の概要: Bayesian Model Selection via Mean-Field Variational Approximation
- arxiv url: http://arxiv.org/abs/2312.10607v1
- Date: Sun, 17 Dec 2023 04:48:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 15:30:03.152132
- Title: Bayesian Model Selection via Mean-Field Variational Approximation
- Title(参考訳): 平均場変分近似によるベイズモデル選択
- Authors: Yangfan Zhang, Yun Yang
- Abstract要約: 平均場(MF)推論の非漸近特性をベイズ的枠組みの下で検討する。
BvM(Bernstein von-Mises)定理は、MF からの変分分布をモデル的不特定性(英語版)の下で表す。
- 参考スコア(独自算出の注目度): 10.433170683584994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This article considers Bayesian model selection via mean-field (MF)
variational approximation. Towards this goal, we study the non-asymptotic
properties of MF inference under the Bayesian framework that allows latent
variables and model mis-specification. Concretely, we show a Bernstein
von-Mises (BvM) theorem for the variational distribution from MF under possible
model mis-specification, which implies the distributional convergence of MF
variational approximation to a normal distribution centering at the maximal
likelihood estimator (within the specified model). Motivated by the BvM
theorem, we propose a model selection criterion using the evidence lower bound
(ELBO), and demonstrate that the model selected by ELBO tends to asymptotically
agree with the one selected by the commonly used Bayesian information criterion
(BIC) as sample size tends to infinity. Comparing to BIC, ELBO tends to incur
smaller approximation error to the log-marginal likelihood (a.k.a. model
evidence) due to a better dimension dependence and full incorporation of the
prior information. Moreover, we show the geometric convergence of the
coordinate ascent variational inference (CAVI) algorithm under the parametric
model framework, which provides a practical guidance on how many iterations one
typically needs to run when approximating the ELBO. These findings demonstrate
that variational inference is capable of providing a computationally efficient
alternative to conventional approaches in tasks beyond obtaining point
estimates, which is also empirically demonstrated by our extensive numerical
experiments.
- Abstract(参考訳): 本稿では平均場(MF)変動近似によるベイズモデル選択について考察する。
この目的に向けて,潜在変数とモデル誤特定を許容するベイジアンフレームワークの下で,mf推論の非漸近性について検討する。
具体的には、MF の変分分布をモデル固有化の可能な条件下での変分分布に対してベルンシュタイン・フォン・ミゼス(BvM)の定理を示し、これは MF の変分近似の分布収束を最大可能性推定器(特定モデルを含む)を中心とする正規分布に導くことを意味する。
BvM定理により、エビデンスローバウンド(ELBO)を用いたモデル選択基準を提案し、サンプルサイズが無限度になるにつれて、ELBOが選択したモデルが一般的に使用されるベイズ情報基準(BIC)によって選択されたモデルと漸近的に一致する傾向があることを示す。
BICと比較すると、ELBOはより優れた次元依存と事前情報の完全な取り込みのため、対数行列の確率(つまりモデル証拠)よりも小さい近似誤差を生じる傾向にある。
さらに、パラメトリック・モデル・フレームワーク(英語版)の下で座標上昇変分推論(英語版)(cavi)アルゴリズムの幾何学的収束を示す。
これらの結果から, 変分推論は, 従来のタスクに対する計算効率のよい代替手段として, 点推定以上のものを提供できることが示された。
関連論文リスト
- Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳(メタデータ) (2023-11-01T12:17:05Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - BayesFlow can reliably detect Model Misspecification and Posterior
Errors in Amortized Bayesian Inference [0.0]
シミュレーションに基づく推論で生じるモデル誤特定のタイプを概念化し、これらの誤特定の下でベイズフローフレームワークの性能を体系的に検討する。
本稿では、潜在データ空間に確率的構造を課し、最大平均不一致(MMD)を利用して破滅的な誤特定を検知する拡張最適化手法を提案する。
論文 参考訳(メタデータ) (2021-12-16T13:25:27Z) - Community Detection in the Stochastic Block Model by Mixed Integer
Programming [3.8073142980733]
Degree-Corrected Block Model (DCSBM) は、コミュニティ構造を持つランダムグラフを生成する一般的なモデルである。
DCSBMに基づくコミュニティ検出の標準的なアプローチは、最大推定(MLE)により観測されたネットワークデータを生成する可能性が最も高いモデルパラメータを探索することである。
本稿では,モデルパラメータと最大確率のコミュニティ割当を観測グラフから確実に求める数学的計画式と厳密解法を提案する。
論文 参考訳(メタデータ) (2021-01-26T22:04:40Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳(メタデータ) (2020-10-24T07:01:24Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳(メタデータ) (2020-10-22T05:04:38Z) - Referenced Thermodynamic Integration for Bayesian Model Selection:
Application to COVID-19 Model Selection [1.9599274203282302]
ベイズ係数と呼ばれる2つのモデルの正規化定数の比率を計算する方法を示す。
本稿では,単一のモデルの正規化定数を効率よく計算するTI法を,参照TI法(referenceed TI)に応用する。
この手法は、実際の問題に適用した場合、韓国の半機械的階層的ベイズモデルのモデル選択を行うのに有用であることが示されている。
論文 参考訳(メタデータ) (2020-09-08T16:32:06Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳(メタデータ) (2020-07-11T19:44:09Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳(メタデータ) (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。