論文の概要: Natural Gradient Hybrid Variational Inference with Application to Deep Mixed Models

• arxiv url: http://arxiv.org/abs/2302.13536v1
• Date: Mon, 27 Feb 2023 06:24:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 16:42:25.986579
• Title: Natural Gradient Hybrid Variational Inference with Application to Deep Mixed Models
• Title（参考訳）: 自然勾配ハイブリッド変分推論と深層混合モデルへの応用
• Authors: Weiben Zhang, Michael Stanley Smith, Worapree Maneesoonthorn and Ruben Loaiza-Maya
• Abstract要約: 本稿では, 係数共分散行列を持つガウス行列からなる変分近似(VA)を用いて, 限界値が$bmtheta$とする。 これは、$(bmz,bmtheta)$ の結合後部に対するよく定義された自然な勾配最適化アルゴリズムであることを示す。 自然勾配法は, 通常の勾配法よりも効率的であり, 2つの先行する自然勾配法よりも高速かつ高精度であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic models with global parameters $\bm{\theta}$ and latent variables $\bm{z}$ are common, and variational inference (VI) is popular for their estimation. This paper uses a variational approximation (VA) that comprises a Gaussian with factor covariance matrix for the marginal of $\bm{\theta}$, and the exact conditional posterior of $\bm{z}|\bm{\theta}$. Stochastic optimization for learning the VA only requires generation of $\bm{z}$ from its conditional posterior, while $\bm{\theta}$ is updated using the natural gradient, producing a hybrid VI method. We show that this is a well-defined natural gradient optimization algorithm for the joint posterior of $(\bm{z},\bm{\theta})$. Fast to compute expressions for the Tikhonov damped Fisher information matrix required to compute a stable natural gradient update are derived. We use the approach to estimate probabilistic Bayesian neural networks with random output layer coefficients to allow for heterogeneity. Simulations show that using the natural gradient is more efficient than using the ordinary gradient, and that the approach is faster and more accurate than two leading benchmark natural gradient VI methods. In a financial application we show that accounting for industry level heterogeneity using the deep model improves the accuracy of probabilistic prediction of asset pricing models.
• Abstract（参考訳）: グローバルパラメータ $\bm{\theta}$ と潜在変数 $\bm{z}$ を持つ確率モデルは一般的であり、変分推論 (vi) はそれらの推定に人気がある。 本稿では, 変数近似 (va) を用いて, $\bm{\theta}$ の限界と$\bm{z}|\bm{\theta}$ の条件付き後方に対する因子共分散行列を持つガウス型 (gaussian with factor covariance matrix) からなる。 VAを学習するための確率的最適化は条件付き後から$\bm{z}$を生成するだけでよいが、$\bm{\theta}$は自然勾配を用いて更新され、ハイブリッドVI法が生成される。 これは$(\bm{z},\bm{\theta})$ の結合後部に対するよく定義された自然な勾配最適化アルゴリズムであることを示す。 安定な自然勾配更新を計算するために必要なチホノフ減衰フィッシャー情報行列の式を高速に計算する。 この手法を用いて確率ベイズニューラルネットワークをランダムな出力層係数で推定し、不均一性を実現する。 シミュレーションの結果, 通常の勾配法よりも自然勾配法の方が効率的であり, 2つの主要な指標である自然勾配法vi法よりも高速かつ精度が高いことがわかった。 金融アプリケーションでは、深層モデルを用いた産業レベルの不均質性会計により、資産価格モデルの確率的予測精度が向上することを示す。

関連論文リスト

• Gradient-based optimization for variational empirical Bayes multiple regression [2.6763498831034043]
  勾配に基づく(準ニュートン)手法に基づく代替最適化手法を提案する。 我々はGradVIが同様の予測性能を示し、予測器が高い相関関係にある場合、より少ないイテレーションで収束することを示す。 提案手法は,オープンソースのPythonソフトウェアGradVIに実装されている。
  論文  参考訳（メタデータ） (2024-11-21T20:35:44Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Natural Gradient Methods: Perspectives, Efficient-Scalable Approximations, and Analysis [0.0]
  Natural Gradient Descentは、情報幾何学によって動機付けられた2次最適化手法である。 一般的に使用されるヘッセン語の代わりにフィッシャー情報マトリックスを使用している。 2階法であることは、膨大な数のパラメータとデータを扱う問題で直接使用されることが不可能である。
  論文  参考訳（メタデータ） (2023-03-06T04:03:56Z)
• VI-DGP: A variational inference method with deep generative prior for solving high-dimensional inverse problems [0.7734726150561089]
  本研究では,高次元後方分布を推定するための新しい近似法を提案する。 このアプローチは、深層生成モデルを利用して、空間的に変化するパラメータを生成することができる事前モデルを学ぶ。 提案手法は自動微分方式で完全に実装できる。
  論文  参考訳（メタデータ） (2023-02-22T06:48:10Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)
• Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications [5.660384137948734]
  提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。 提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T20:57:20Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。