論文の概要: The FMRIB Variational Bayesian Inference Tutorial II: Stochastic
Variational Bayes
- arxiv url: http://arxiv.org/abs/2007.02725v2
- Date: Thu, 9 Jul 2020 10:30:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 06:12:57.579212
- Title: The FMRIB Variational Bayesian Inference Tutorial II: Stochastic
Variational Bayes
- Title(参考訳): FMRIB変分ベイズ推定チュートリアルII:確率的変分ベイズ
- Authors: Michael A. Chappell and Mark W. Woolrich
- Abstract要約: このチュートリアルは、オリジナルのFMRIB Variational Bayesチュートリアルを再考する。
この新しいアプローチは、機械学習アルゴリズムに適用された計算方法に多くの類似性を持ち、恩恵を受けている。
- 参考スコア(独自算出の注目度): 1.827510863075184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian methods have proved powerful in many applications for the inference
of model parameters from data. These methods are based on Bayes' theorem, which
itself is deceptively simple. However, in practice the computations required
are intractable even for simple cases. Hence methods for Bayesian inference
have historically either been significantly approximate, e.g., the Laplace
approximation, or achieve samples from the exact solution at significant
computational expense, e.g., Markov Chain Monte Carlo methods. Since around the
year 2000 so-called Variational approaches to Bayesian inference have been
increasingly deployed. In its most general form Variational Bayes (VB) involves
approximating the true posterior probability distribution via another more
'manageable' distribution, the aim being to achieve as good an approximation as
possible. In the original FMRIB Variational Bayes tutorial we documented an
approach to VB based that took a 'mean field' approach to forming the
approximate posterior, required the conjugacy of prior and likelihood, and
exploited the Calculus of Variations, to derive an iterative series of update
equations, akin to Expectation Maximisation. In this tutorial we revisit VB,
but now take a stochastic approach to the problem that potentially circumvents
some of the limitations imposed by the earlier methodology. This new approach
bears a lot of similarity to, and has benefited from, computational methods
applied to machine learning algorithms. Although, what we document here is
still recognisably Bayesian inference in the classic sense, and not an attempt
to use machine learning as a black-box to solve the inference problem.
- Abstract(参考訳): ベイズ法はデータからモデルパラメータを推定するための多くの応用において強力であることが証明されている。
これらの手法はベイズの定理に基づいている。
しかし、実際には必要な計算は単純な場合であっても難解である。
したがって、ベイズ推定の手法は歴史的にラプラス近似のようなかなり近似的であったり、マルコフ・チェイン・モンテカルロ法のような計算コストで正確な解からサンプルを得たりしてきた。
2000年ごろからベイズ推論に対するいわゆる変分的アプローチがますます展開されている。
最も一般的な形式である変分ベイズ (VB) では、真の後続確率分布を、より「管理可能な」分布で近似し、できるだけ良い近似を達成することが目的である。
最初のfmrib variational bayesチュートリアルでは、vbベースのアプローチを文書化し、近似後段を形成するために'mean field'アプローチを採り、事前と可能性の一致を必要とし、変動の微積分を活用して、期待の最大化に似た反復的な更新方程式を導出しました。
このチュートリアルではvbを再検討していますが、以前の方法論によって課された制限を回避できる可能性のある問題に対する確率的アプローチを取り上げています。
この新しいアプローチは、機械学習アルゴリズムに適用される計算方法に多くの類似性があり、利点がある。
しかし、ここで述べられているのは、古典的な意味でのベイズ推論であり、推論問題を解決するために機械学習をブラックボックスとして利用しようとする試みではない。
関連論文リスト
- Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳(メタデータ) (2023-11-01T12:17:05Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳(メタデータ) (2023-10-20T10:20:45Z) - Exact Manifold Gaussian Variational Bayes [76.95091121622674]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を暗黙的に満足するガウス変分推論の効率的なアルゴリズムを開発する。
ブラックボックスの性質のため、EMGVBは複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳(メタデータ) (2022-10-26T10:12:31Z) - Quasi Black-Box Variational Inference with Natural Gradients for
Bayesian Learning [84.90242084523565]
複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。
我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
論文 参考訳(メタデータ) (2022-05-23T18:54:27Z) - A Variational Inference Approach to Inverse Problems with Gamma
Hyperpriors [60.489902135153415]
本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。
提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
論文 参考訳(メタデータ) (2021-11-26T06:33:29Z) - Mixtures of Gaussian Processes for regression under multiple prior
distributions [0.0]
ガウス過程回帰のための混合モデルの概念を拡張し、複数の先行する信念を同時に扱う。
本手法は,関数回帰問題における先行的誤特定の問題を考慮に入れたものである。
論文 参考訳(メタデータ) (2021-04-19T10:19:14Z) - Sparse online variational Bayesian regression [0.0]
完全ベイズアプローチに代わる安価でスケーラブルな代替手段としてのバリエーションベイズ推論。
線形モデルの場合、この方法は決定論的最小二乗問題の反復解のみを必要とする。
大きな p の場合、近似は計算とメモリの両方において o(p) のコストの有望な結果が得られる。
論文 参考訳(メタデータ) (2021-02-24T12:49:42Z) - A Tutorial on Sparse Gaussian Processes and Variational Inference [12.827024991969578]
このチュートリアルは、GPとVIの両方で事前の知識のない読者に基本的な事項へのアクセスを提供する。
このフレームワークは、非ガウス的および非ガウス的確率の回帰から、離散ラベルによる分類問題まで、教師付き学習問題の幅広い範囲を自然に扱うことができる。
論文 参考訳(メタデータ) (2020-12-27T15:25:13Z) - Extending the statistical software package Engine for Likelihood-Free
Inference [0.0]
この論文は、ソフトウェアパッケージ Engine for Likelihood-Free Inference (ELFI) におけるRobust optimisation Monte Carlo (ROMC) メソッドの実装に焦点を当てている。
我々の実装は、シミュレーターベースのモデルで推論を実行したい実践者に対して、堅牢で効率的なソリューションを提供します。
論文 参考訳(メタデータ) (2020-11-08T13:22:37Z) - Disentangling the Gauss-Newton Method and Approximate Inference for
Neural Networks [96.87076679064499]
我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。
ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。
ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
論文 参考訳(メタデータ) (2020-07-21T17:42:58Z) - Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of
Multimodal Posteriors [8.11978827493967]
MCMCの並列実行, 変動型, モードベースの推論を用いて, できるだけ多くのモードをヒットさせる手法を提案する。
重み付き推論プロセスが真のデータを近似する例と理論的整合性を示す。
いくつかのモデルファミリで実践的な実装を示す。
論文 参考訳(メタデータ) (2020-06-22T15:26:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。