論文の概要: Exact Manifold Gaussian Variational Bayes
- arxiv url: http://arxiv.org/abs/2210.14598v1
- Date: Wed, 26 Oct 2022 10:12:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 13:30:09.497739
- Title: Exact Manifold Gaussian Variational Bayes
- Title(参考訳): 完全多様体ガウス変分ベイズ
- Authors: Martin Magris, Mostafa Shabani, Alexandros Iosifidis
- Abstract要約: 複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を暗黙的に満足するガウス変分推論の効率的なアルゴリズムを開発する。
ブラックボックスの性質のため、EMGVBは複雑なモデルにおけるVIのための準備が整ったソリューションである。
- 参考スコア(独自算出の注目度): 84.90242084523565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an optimization algorithm for Variational Inference (VI) in
complex models. Our approach relies on natural gradient updates where the
variational space is a Riemann manifold. We develop an efficient algorithm for
Gaussian Variational Inference that implicitly satisfies the positive definite
constraint on the variational covariance matrix. Our Exact manifold Gaussian
Variational Bayes (EMGVB) provides exact but simple update rules and is
straightforward to implement. Due to its black-box nature, EMGVB stands as a
ready-to-use solution for VI in complex models. Over five datasets, we
empirically validate our feasible approach on different statistical,
econometric, and deep learning models, discussing its performance with respect
to baseline methods.
- Abstract(参考訳): 複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
我々のアプローチは、変分空間がリーマン多様体であるような自然な勾配更新に依存する。
我々は,変分共分散行列上の正定値制約を暗黙的に満たすガウス変分推論のための効率的なアルゴリズムを開発した。
我々のExact manifold Gaussian Variational Bayes (EMGVB) は正確な更新ルールを提供するが、簡単に実装できる。
ブラックボックスの性質のため、EMGVBは複雑なモデルにおけるVIのための準備が整ったソリューションである。
5つ以上のデータセットで、異なる統計モデル、計量モデル、深層学習モデルに対する実現可能なアプローチを実証的に検証し、ベースラインメソッドのパフォーマンスについて議論する。
関連論文リスト
- Multi-Response Heteroscedastic Gaussian Process Models and Their
Inference [1.52292571922932]
本稿ではヘテロセダスティック共分散関数のモデリングのための新しいフレームワークを提案する。
後部モデルに近似し, 後部予測モデルを容易にするために, 変分推論を用いる。
提案するフレームワークは,幅広いアプリケーションに対して,堅牢で汎用的なツールを提供する。
論文 参考訳(メタデータ) (2023-08-29T15:06:47Z) - VI-DGP: A variational inference method with deep generative prior for
solving high-dimensional inverse problems [0.7734726150561089]
本研究では,高次元後方分布を推定するための新しい近似法を提案する。
このアプローチは、深層生成モデルを利用して、空間的に変化するパラメータを生成することができる事前モデルを学ぶ。
提案手法は自動微分方式で完全に実装できる。
論文 参考訳(メタデータ) (2023-02-22T06:48:10Z) - Quasi Black-Box Variational Inference with Natural Gradients for
Bayesian Learning [84.90242084523565]
複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。
我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
論文 参考訳(メタデータ) (2022-05-23T18:54:27Z) - Generalised Gaussian Process Latent Variable Models (GPLVM) with
Stochastic Variational Inference [9.468270453795409]
ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。
このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。
我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
論文 参考訳(メタデータ) (2022-02-25T21:21:51Z) - A Variational Inference Approach to Inverse Problems with Gamma
Hyperpriors [60.489902135153415]
本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。
提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
論文 参考訳(メタデータ) (2021-11-26T06:33:29Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-10T18:17:57Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳(メタデータ) (2021-01-15T11:39:09Z) - Meta-Learning Divergences of Variational Inference [49.164944557174294]
変分推論(VI)は、近似ベイズ推論において重要な役割を果たす。
本稿では,興味ある課題に適した分散度を学習するためのメタ学習アルゴリズムを提案する。
提案手法はガウス混合分布近似の標準VIより優れていることを示す。
論文 参考訳(メタデータ) (2020-07-06T17:43:01Z) - Sparse Gaussian Processes with Spherical Harmonic Features [14.72311048788194]
領域間変分ガウス過程(GP)の新たなクラスを導入する。
我々の推論スキームは変分フーリエの特徴に匹敵するが、次元の呪いに苦しむことはない。
実験の結果,本モデルでは,600万項目のデータセットに対して,2桁の精度で回帰モデルを適合させることができることがわかった。
論文 参考訳(メタデータ) (2020-06-30T10:19:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。