論文の概要: Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of
Multimodal Posteriors
- arxiv url: http://arxiv.org/abs/2006.12335v3
- Date: Thu, 18 Nov 2021 16:45:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 06:41:36.322480
- Title: Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of
Multimodal Posteriors
- Title（参考訳）: 非混合ベイズ計算のためのスタック化:マルチモーダル後部の曲線と祝福
- Authors: Yuling Yao, Aki Vehtari, Andrew Gelman
- Abstract要約: MCMCの並列実行, 変動型, モードベースの推論を用いて, できるだけ多くのモードをヒットさせる手法を提案する。
重み付き推論プロセスが真のデータを近似する例と理論的整合性を示す。
いくつかのモデルファミリで実践的な実装を示す。
- 参考スコア（独自算出の注目度）: 8.11978827493967
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When working with multimodal Bayesian posterior distributions, Markov chain
Monte Carlo (MCMC) algorithms have difficulty moving between modes, and default
variational or mode-based approximate inferences will understate posterior
uncertainty. And, even if the most important modes can be found, it is
difficult to evaluate their relative weights in the posterior. Here we propose
an approach using parallel runs of MCMC, variational, or mode-based inference
to hit as many modes or separated regions as possible and then combine these
using Bayesian stacking, a scalable method for constructing a weighted average
of distributions. The result from stacking efficiently samples from multimodal
posterior distribution, minimizes cross validation prediction error, and
represents the posterior uncertainty better than variational inference, but it
is not necessarily equivalent, even asymptotically, to fully Bayesian
inference. We present theoretical consistency with an example where the stacked
inference approximates the true data generating process from the misspecified
model and a non-mixing sampler, from which the predictive performance is better
than full Bayesian inference, hence the multimodality can be considered a
blessing rather than a curse under model misspecification. We demonstrate
practical implementation in several model families: latent Dirichlet
allocation, Gaussian process regression, hierarchical regression, horseshoe
variable selection, and neural networks.
- Abstract（参考訳）: マルチモーダルベイズ分布を扱う場合、マルコフ連鎖モンテカルロ (MCMC) アルゴリズムはモード間の移動が困難であり、デフォルトの変分あるいはモードベースの近似推論は後続の不確実性を示す。
そして、最も重要なモードが見つかるとしても、後部の相対的な重みを評価することは困難である。
本稿では,mcmc,変分法,モードベース推論の並列実行を用いて,可能な限り多くのモードや分離領域をヒットし,重み付け平均値を構築するスケーラブルな手法であるベイジアン・スタッキングを用いてこれを組み合わせる手法を提案する。
多モード後部分布から効率的にサンプリングし、交差検証予測誤差を最小化し、変分推論よりも後部不確実性を表現した結果は、必ずしも漸近的に完全にベイズ推定に等価ではない。
本稿では, モデル不特定モデルと非混合標本から真のデータ生成過程を近似し, 予測性能がベイズ推定より優れていることを例示し, モデル不特定の下での呪いよりもマルチモーダル性を祝福することができることを示す。
いくつかのモデルファミリにおいて,潜在ディリクレ割り当て,ガウス過程回帰,階層回帰,ホースシュー変数選択,ニューラルネットワークの実践的実装を示す。
関連論文リスト
- DistPred: A Distribution-Free Probabilistic Inference Method for Regression and Forecasting [14.390842560217743]
本稿では、回帰予測タスクのためのDistPredという新しい手法を提案する。
予測分布と対象分布の差分を測定するための適切なスコアリングルールを、微分可能な離散形式に変換する。
これにより、モデルは単一のフォワードパスで多数のサンプルをサンプリングし、応答変数の潜在的分布を推定することができる。
論文 参考訳（メタデータ） (2024-06-17T10:33:00Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳（メタデータ） (2023-11-01T12:17:05Z) - Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。
崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。
提案手法は, スケーラビリティと精度のバランスをとる。
論文 参考訳（メタデータ） (2023-06-16T08:34:42Z) - Bayesian Pseudo-Coresets via Contrastive Divergence [5.479797073162603]
対照的な発散を利用して擬似コアセットを構築するための新しい手法を提案する。
これは擬似コアセット構築プロセスにおける近似の必要性を排除する。
複数のデータセットに対して広範な実験を行い、既存のBPC技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-03-20T17:13:50Z) - Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。
言語生成に適用するための実践的境界を開発する。
本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
論文 参考訳（メタデータ） (2023-02-26T16:32:52Z) - Deblurring via Stochastic Refinement [85.42730934561101]
条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。
提案手法は,PSNRなどの歪み指標の点で競合する。
論文 参考訳（メタデータ） (2021-12-05T04:36:09Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Reducing the Amortization Gap in Variational Autoencoders: A Bayesian
Random Function Approach [38.45568741734893]
GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。
提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
論文 参考訳（メタデータ） (2021-02-05T13:01:12Z) - Scaling Bayesian inference of mixed multinomial logit models to very
large datasets [9.442139459221785]
本稿では,バックプロパゲーション,自動微分,GPU加速計算を活用するアモルティファイド変分推論手法を提案する。
本研究では, 後部近似の柔軟性を高めるために, フローの正規化がいかに有効かを示す。
論文 参考訳（メタデータ） (2020-04-11T15:30:47Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳（メタデータ） (2020-02-17T19:23:36Z) - Distributed, partially collapsed MCMC for Bayesian Nonparametrics [68.5279360794418]
ディリクレ法やベータ・ベルヌーリ法のようなモデルでよく用いられる完全無作為測度は独立な部分測度に分解可能であるという事実を利用する。
この分解を用いて、潜在測度を、インスタンス化された成分のみを含む有限測度と、他のすべての成分を含む無限測度に分割する。
得られたハイブリッドアルゴリズムは、収束保証を犠牲にすることなくスケーラブルな推論を可能にすることができる。
論文 参考訳（メタデータ） (2020-01-15T23:10:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。