論文の概要: Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning

• arxiv url: http://arxiv.org/abs/2205.11568v1
• Date: Mon, 23 May 2022 18:54:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-29 09:44:20.303339
• Title: Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning
• Title（参考訳）: ベイズ学習のための自然勾配を用いた準ブラックボックス変分推論
• Authors: Martin Magris, Mostafa Shabani, Alexandros Iosifidis
• Abstract要約: 複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
• 参考スコア（独自算出の注目度）: 84.90242084523565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop an optimization algorithm suitable for Bayesian learning in complex models. Our approach relies on natural gradient updates within a general black-box framework for efficient training with limited model-specific derivations. It applies within the class of exponential-family variational posterior distributions, for which we extensively discuss the Gaussian case for which the updates have a rather simple form. Our Quasi Black-box Variational Inference (QBVI) framework is readily applicable to a wide class of Bayesian inference problems and is of simple implementation as the updates of the variational posterior do not involve gradients with respect to the model parameters, nor the prescription of the Fisher information matrix. We develop QBVI under different hypotheses for the posterior covariance matrix, discuss details about its robust and feasible implementation, and provide a number of real-world applications to demonstrate its effectiveness.
• Abstract（参考訳）: 複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。 これは指数関数的族の変分後分布のクラスに当てはまり、我々は更新が比較的単純な形式を持つガウスのケースを詳細に議論する。 準ブラックボックス変分推論(qbvi)フレームワークはベイズ推定問題の幅広いクラスに容易に適用でき、モデルパラメータやフィッシャー情報行列の処方料に関して、変分後段の更新が勾配を含まないため、簡単な実装である。 我々は、後続共分散行列の異なる仮説の下でQBVIを開発し、その堅牢で実現可能な実装の詳細を議論し、その効果を示すために多くの実世界のアプリケーションを提供する。

関連論文リスト

• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• A Tutorial on Parametric Variational Inference [0.0]
  変分推論は、多くの高次元モデルや大きなデータセットに好まれる選択である。 このチュートリアルでは,近年の展開を左右するパラメトリックな観点からの変分推論を紹介する。
  論文  参考訳（メタデータ） (2023-01-03T17:30:50Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Recursive Monte Carlo and Variational Inference with Auxiliary Variables [64.25762042361839]
  再帰的補助変数推論(RAVI)はフレキシブルな提案を利用するための新しいフレームワークである。 RAVIは、表現力のある表現力のある家族を推論するためのいくつかの既存の手法を一般化し、統一する。 RAVIの設計枠組みと定理を,SalimansらによるMarkov Chain Variational Inferenceを用いて解析し,改良することにより示す。
  論文  参考訳（メタデータ） (2022-03-05T23:52:40Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• The FMRIB Variational Bayesian Inference Tutorial II: Stochastic Variational Bayes [1.827510863075184]
  このチュートリアルは、オリジナルのFMRIB Variational Bayesチュートリアルを再考する。 この新しいアプローチは、機械学習アルゴリズムに適用された計算方法に多くの類似性を持ち、恩恵を受けている。
  論文  参考訳（メタデータ） (2020-07-03T11:31:52Z)
• Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations [27.43948386608]
  変数の誘導に基づく変分推論手法はガウス過程(GP)モデルにおけるスケーラブルな推定のためのエレガントなフレームワークを提供する。 この研究において、変分フレームワークにおけるインプットの最大化は最適な性能をもたらすという共通の知恵に挑戦する。
  論文  参考訳（メタデータ） (2020-03-06T08:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。