論文の概要: The FMRIB Variational Bayesian Inference Tutorial II: Stochastic Variational Bayes

• arxiv url: http://arxiv.org/abs/2007.02725v2
• Date: Thu, 9 Jul 2020 10:30:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 06:12:57.579212
• Title: The FMRIB Variational Bayesian Inference Tutorial II: Stochastic Variational Bayes
• Title（参考訳）: FMRIB変分ベイズ推定チュートリアルII:確率的変分ベイズ
• Authors: Michael A. Chappell and Mark W. Woolrich
• Abstract要約: このチュートリアルは、オリジナルのFMRIB Variational Bayesチュートリアルを再考する。 この新しいアプローチは、機械学習アルゴリズムに適用された計算方法に多くの類似性を持ち、恩恵を受けている。
• 参考スコア（独自算出の注目度）: 1.827510863075184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian methods have proved powerful in many applications for the inference of model parameters from data. These methods are based on Bayes' theorem, which itself is deceptively simple. However, in practice the computations required are intractable even for simple cases. Hence methods for Bayesian inference have historically either been significantly approximate, e.g., the Laplace approximation, or achieve samples from the exact solution at significant computational expense, e.g., Markov Chain Monte Carlo methods. Since around the year 2000 so-called Variational approaches to Bayesian inference have been increasingly deployed. In its most general form Variational Bayes (VB) involves approximating the true posterior probability distribution via another more 'manageable' distribution, the aim being to achieve as good an approximation as possible. In the original FMRIB Variational Bayes tutorial we documented an approach to VB based that took a 'mean field' approach to forming the approximate posterior, required the conjugacy of prior and likelihood, and exploited the Calculus of Variations, to derive an iterative series of update equations, akin to Expectation Maximisation. In this tutorial we revisit VB, but now take a stochastic approach to the problem that potentially circumvents some of the limitations imposed by the earlier methodology. This new approach bears a lot of similarity to, and has benefited from, computational methods applied to machine learning algorithms. Although, what we document here is still recognisably Bayesian inference in the classic sense, and not an attempt to use machine learning as a black-box to solve the inference problem.
• Abstract（参考訳）: ベイズ法はデータからモデルパラメータを推定するための多くの応用において強力であることが証明されている。 これらの手法はベイズの定理に基づいている。 しかし、実際には必要な計算は単純な場合であっても難解である。 したがって、ベイズ推定の手法は歴史的にラプラス近似のようなかなり近似的であったり、マルコフ・チェイン・モンテカルロ法のような計算コストで正確な解からサンプルを得たりしてきた。 2000年ごろからベイズ推論に対するいわゆる変分的アプローチがますます展開されている。 最も一般的な形式である変分ベイズ (VB) では、真の後続確率分布を、より「管理可能な」分布で近似し、できるだけ良い近似を達成することが目的である。 最初のfmrib variational bayesチュートリアルでは、vbベースのアプローチを文書化し、近似後段を形成するために'mean field'アプローチを採り、事前と可能性の一致を必要とし、変動の微積分を活用して、期待の最大化に似た反復的な更新方程式を導出しました。 このチュートリアルではvbを再検討していますが、以前の方法論によって課された制限を回避できる可能性のある問題に対する確率的アプローチを取り上げています。 この新しいアプローチは、機械学習アルゴリズムに適用される計算方法に多くの類似性があり、利点がある。 しかし、ここで述べられているのは、古典的な意味でのベイズ推論であり、推論問題を解決するために機械学習をブラックボックスとして利用しようとする試みではない。

関連論文リスト

• Bayesian Online Natural Gradient (BONG) [9.800443064368467]
  変分ベイズ(VB)に基づく逐次ベイズ推論への新しいアプローチを提案する。 重要な洞察は、オンライン環境では、前もって正規化するためにKLという用語を追加する必要はありません。 提案手法は,非共役条件下での他のオンラインVB手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-30T04:27:36Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature [13.36200518068162]
  本稿では,既存の目標密度評価から高速な後続近似を得る手段として,プロセス後ベイズ推定の枠組みを提案する。 この枠組みでは,ブラックボックスと潜在的ノイズの可能性のあるモデルに対して,プロセス後近似推定法である変分スパースベイズ近似(VSBQ)を導入する。 本手法は,計算神経科学による難解な合成シナリオと実世界の応用について検証する。
  論文  参考訳（メタデータ） (2023-03-09T13:58:35Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Mixtures of Gaussian Processes for regression under multiple prior distributions [0.0]
  ガウス過程回帰のための混合モデルの概念を拡張し、複数の先行する信念を同時に扱う。 本手法は,関数回帰問題における先行的誤特定の問題を考慮に入れたものである。
  論文  参考訳（メタデータ） (2021-04-19T10:19:14Z)
• Sparse online variational Bayesian regression [0.0]
  完全ベイズアプローチに代わる安価でスケーラブルな代替手段としてのバリエーションベイズ推論。 線形モデルの場合、この方法は決定論的最小二乗問題の反復解のみを必要とする。 大きな p の場合、近似は計算とメモリの両方において o(p) のコストの有望な結果が得られる。
  論文  参考訳（メタデータ） (2021-02-24T12:49:42Z)
• Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks [96.87076679064499]
  我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。 ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。 ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
  論文  参考訳（メタデータ） (2020-07-21T17:42:58Z)
• Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of Multimodal Posteriors [8.11978827493967]
  MCMCの並列実行, 変動型, モードベースの推論を用いて, できるだけ多くのモードをヒットさせる手法を提案する。 重み付き推論プロセスが真のデータを近似する例と理論的整合性を示す。 いくつかのモデルファミリで実践的な実装を示す。
  論文  参考訳（メタデータ） (2020-06-22T15:26:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。