論文の概要: Natural Gradient Hybrid Variational Inference with Application to Deep
Mixed Models
- arxiv url: http://arxiv.org/abs/2302.13536v1
- Date: Mon, 27 Feb 2023 06:24:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-28 16:42:25.986579
- Title: Natural Gradient Hybrid Variational Inference with Application to Deep
Mixed Models
- Title(参考訳): 自然勾配ハイブリッド変分推論と深層混合モデルへの応用
- Authors: Weiben Zhang, Michael Stanley Smith, Worapree Maneesoonthorn and Ruben
Loaiza-Maya
- Abstract要約: 本稿では, 係数共分散行列を持つガウス行列からなる変分近似(VA)を用いて, 限界値が$bmtheta$とする。
これは、$(bmz,bmtheta)$ の結合後部に対するよく定義された自然な勾配最適化アルゴリズムであることを示す。
自然勾配法は, 通常の勾配法よりも効率的であり, 2つの先行する自然勾配法よりも高速かつ高精度であることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stochastic models with global parameters $\bm{\theta}$ and latent variables
$\bm{z}$ are common, and variational inference (VI) is popular for their
estimation. This paper uses a variational approximation (VA) that comprises a
Gaussian with factor covariance matrix for the marginal of $\bm{\theta}$, and
the exact conditional posterior of $\bm{z}|\bm{\theta}$. Stochastic
optimization for learning the VA only requires generation of $\bm{z}$ from its
conditional posterior, while $\bm{\theta}$ is updated using the natural
gradient, producing a hybrid VI method. We show that this is a well-defined
natural gradient optimization algorithm for the joint posterior of
$(\bm{z},\bm{\theta})$. Fast to compute expressions for the Tikhonov damped
Fisher information matrix required to compute a stable natural gradient update
are derived. We use the approach to estimate probabilistic Bayesian neural
networks with random output layer coefficients to allow for heterogeneity.
Simulations show that using the natural gradient is more efficient than using
the ordinary gradient, and that the approach is faster and more accurate than
two leading benchmark natural gradient VI methods. In a financial application
we show that accounting for industry level heterogeneity using the deep model
improves the accuracy of probabilistic prediction of asset pricing models.
- Abstract(参考訳): グローバルパラメータ $\bm{\theta}$ と潜在変数 $\bm{z}$ を持つ確率モデルは一般的であり、変分推論 (vi) はそれらの推定に人気がある。
本稿では, 変数近似 (va) を用いて, $\bm{\theta}$ の限界と$\bm{z}|\bm{\theta}$ の条件付き後方に対する因子共分散行列を持つガウス型 (gaussian with factor covariance matrix) からなる。
VAを学習するための確率的最適化は条件付き後から$\bm{z}$を生成するだけでよいが、$\bm{\theta}$は自然勾配を用いて更新され、ハイブリッドVI法が生成される。
これは$(\bm{z},\bm{\theta})$ の結合後部に対するよく定義された自然な勾配最適化アルゴリズムであることを示す。
安定な自然勾配更新を計算するために必要なチホノフ減衰フィッシャー情報行列の式を高速に計算する。
この手法を用いて確率ベイズニューラルネットワークをランダムな出力層係数で推定し、不均一性を実現する。
シミュレーションの結果, 通常の勾配法よりも自然勾配法の方が効率的であり, 2つの主要な指標である自然勾配法vi法よりも高速かつ精度が高いことがわかった。
金融アプリケーションでは、深層モデルを用いた産業レベルの不均質性会計により、資産価格モデルの確率的予測精度が向上することを示す。
関連論文リスト
- Large-scale variational Gaussian state-space models [10.704856607611156]
非線形力学を持つ状態空間モデルに対して、アモータイズされた変分推論アルゴリズムと構造化された変分近似を導入する。
我々はモンテカルロ近似の低ランク構造を利用して、力学を通して潜伏状態の辺縁化を行う。
全体としては、必要な統計値とELBOは、$O(TL(Sr + S2 + r2))$ time where $T$ is the series length, $L$ is the state-space dimensionality, $S$ is the number of sample used to approximately the predict step statistics, $r$ is the rank of the series length, $L$ is the $L$ is the state-space dimensionality, $S$ is the number of the sample。
論文 参考訳(メタデータ) (2024-03-03T02:19:49Z) - Dynamical System Identification, Model Selection and Model Uncertainty
Quantification by Bayesian Inference [0.8999666725996975]
2つのアルゴリズム(JMAP)と変分ベイズ近似(VBA)を比較した。
多変量ガウス確率とそれ以前の分布に対して、ベイジアン定式化はガウス後続分布と証拠分布を与える。
後ガウスノルムは、量的モデル選択のための堅牢な計量を提供する。
論文 参考訳(メタデータ) (2024-01-30T12:16:52Z) - Modified Step Size for Enhanced Stochastic Gradient Descent: Convergence
and Experiments [0.0]
本稿では,$frac1sqrtttをベースとした変形ステップサイズを改良することにより,勾配降下法(SGD)アルゴリズムの性能向上に新たなアプローチを提案する。
提案されたステップサイズは対数的なステップ項を統合し、最終イテレーションでより小さな値を選択する。
提案手法の有効性について,FashionMNISTとARARを用いて画像分類タスクの数値実験を行った。
論文 参考訳(メタデータ) (2023-09-03T19:21:59Z) - Exact Manifold Gaussian Variational Bayes [76.95091121622674]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を暗黙的に満足するガウス変分推論の効率的なアルゴリズムを開発する。
ブラックボックスの性質のため、EMGVBは複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳(メタデータ) (2022-10-26T10:12:31Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳(メタデータ) (2021-11-15T09:08:27Z) - A New Framework for Variance-Reduced Hamiltonian Monte Carlo [88.84622104944503]
分散還元型ハミルトン・モンテカルロ法 (HMC) の新たなフレームワークを提案し,$L$-smooth および $m$-strongly log-concave 分布からサンプリングする。
本研究では,SAGA法やSVRG法をベースとした非バイアス勾配推定器を用いて,バッチサイズを小さくすることで,高い勾配効率が得られることを示す。
総合的および実世界のベンチマークデータによる実験結果から、我々の新しいフレームワークは、完全な勾配と勾配HMCアプローチを著しく上回っていることが示された。
論文 参考訳(メタデータ) (2021-02-09T02:44:24Z) - Nearest Neighbour Based Estimates of Gradients: Sharp Nonasymptotic
Bounds and Applications [0.6445605125467573]
勾配推定は統計学と学習理論において重要である。
ここでは古典的な回帰設定を考えると、実値の正方形可積分 r.v.$Y$ が予測される。
代替推定法で得られた値に対して, 漸近的境界が改良されることを証明した。
論文 参考訳(メタデータ) (2020-06-26T15:19:43Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳(メタデータ) (2020-06-24T06:01:24Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳(メタデータ) (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。