論文の概要: Bayesian Model Selection via Mean-Field Variational Approximation

• arxiv url: http://arxiv.org/abs/2312.10607v1
• Date: Sun, 17 Dec 2023 04:48:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 15:30:03.152132
• Title: Bayesian Model Selection via Mean-Field Variational Approximation
• Title（参考訳）: 平均場変分近似によるベイズモデル選択
• Authors: Yangfan Zhang, Yun Yang
• Abstract要約: 平均場(MF)推論の非漸近特性をベイズ的枠組みの下で検討する。 BvM(Bernstein von-Mises)定理は、MF からの変分分布をモデル的不特定性(英語版)の下で表す。
• 参考スコア（独自算出の注目度）: 10.433170683584994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This article considers Bayesian model selection via mean-field (MF) variational approximation. Towards this goal, we study the non-asymptotic properties of MF inference under the Bayesian framework that allows latent variables and model mis-specification. Concretely, we show a Bernstein von-Mises (BvM) theorem for the variational distribution from MF under possible model mis-specification, which implies the distributional convergence of MF variational approximation to a normal distribution centering at the maximal likelihood estimator (within the specified model). Motivated by the BvM theorem, we propose a model selection criterion using the evidence lower bound (ELBO), and demonstrate that the model selected by ELBO tends to asymptotically agree with the one selected by the commonly used Bayesian information criterion (BIC) as sample size tends to infinity. Comparing to BIC, ELBO tends to incur smaller approximation error to the log-marginal likelihood (a.k.a. model evidence) due to a better dimension dependence and full incorporation of the prior information. Moreover, we show the geometric convergence of the coordinate ascent variational inference (CAVI) algorithm under the parametric model framework, which provides a practical guidance on how many iterations one typically needs to run when approximating the ELBO. These findings demonstrate that variational inference is capable of providing a computationally efficient alternative to conventional approaches in tasks beyond obtaining point estimates, which is also empirically demonstrated by our extensive numerical experiments.
• Abstract（参考訳）: 本稿では平均場(MF)変動近似によるベイズモデル選択について考察する。 この目的に向けて,潜在変数とモデル誤特定を許容するベイジアンフレームワークの下で,mf推論の非漸近性について検討する。 具体的には、MF の変分分布をモデル固有化の可能な条件下での変分分布に対してベルンシュタイン・フォン・ミゼス(BvM)の定理を示し、これは MF の変分近似の分布収束を最大可能性推定器(特定モデルを含む)を中心とする正規分布に導くことを意味する。 BvM定理により、エビデンスローバウンド(ELBO)を用いたモデル選択基準を提案し、サンプルサイズが無限度になるにつれて、ELBOが選択したモデルが一般的に使用されるベイズ情報基準(BIC)によって選択されたモデルと漸近的に一致する傾向があることを示す。 BICと比較すると、ELBOはより優れた次元依存と事前情報の完全な取り込みのため、対数行列の確率(つまりモデル証拠)よりも小さい近似誤差を生じる傾向にある。 さらに、パラメトリック・モデル・フレームワーク(英語版)の下で座標上昇変分推論(英語版)(cavi)アルゴリズムの幾何学的収束を示す。 これらの結果から, 変分推論は, 従来のタスクに対する計算効率のよい代替手段として, 点推定以上のものを提供できることが示された。

関連論文リスト

• Continuous Bayesian Model Selection for Multivariate Causal Discovery [22.945274948173182]
  現在の因果的発見アプローチは、構造的識別可能性を確保するために、限定的なモデル仮定や介入データへのアクセスを必要とする。 近年の研究では、ベイズモデルの選択はより柔軟な仮定のために制限的モデリングを交換することで精度を大幅に向上させることができることが示されている。 合成データセットと実世界のデータセットの両方において、我々のアプローチの競争力を実証する。
  論文  参考訳（メタデータ） (2024-11-15T12:55:05Z)
• Stochastic Sampling from Deterministic Flow Models [8.849981177332594]
  そこで本論文では,フローモデルを同じ境界分布を持つ微分方程式の族(SDE)に変換する手法を提案する。 我々は,おもちゃのガウスセットアップと大規模イメージネット生成タスクにおいて,提案手法の利点を実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-03T05:18:28Z)
• Flow matching achieves almost minimax optimal convergence [50.38891696297888]
  フローマッチング (FM) は, シミュレーションのない生成モデルとして注目されている。 本稿では,大試料径のFMの収束特性を$p$-Wasserstein 距離で論じる。 我々は、FMが1leq p leq 2$でほぼ最小の収束率を達成できることを確立し、FMが拡散モデルに匹敵する収束率に達するという最初の理論的証拠を示す。
  論文  参考訳（メタデータ） (2024-05-31T14:54:51Z)
• Estimating the Number of Components in Finite Mixture Models via Variational Approximation [8.468023518807408]
  変動ベイズを用いた有限混合モデル(FMM)における成分数選択法を提案する。 平均場(MF)変動近似から導かれるエビデンス下界(ELBO)の上限値と下界値との整合性を確立した。 証明の副産物として、MF近似が後部分布の安定な挙動(モデル特異性に相応しい)を継承することを示す。
  論文  参考訳（メタデータ） (2024-04-25T17:00:24Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Bivariate Causal Discovery using Bayesian Model Selection [11.726586969589]
  ベイズ的枠組みに因果仮定を組み込む方法について述べる。 これにより、現実的な仮定でモデルを構築することができます。 その後、幅広いベンチマークデータセットにおいて、従来の手法よりも優れています。
  論文  参考訳（メタデータ） (2023-06-05T14:51:05Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。