論文の概要: Natural Gradient Hybrid Variational Inference with Application to Deep Mixed Models
- arxiv url: http://arxiv.org/abs/2302.13536v2
- Date: Wed, 24 Jul 2024 23:23:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-26 20:06:09.647787
- Title: Natural Gradient Hybrid Variational Inference with Application to Deep Mixed Models
- Title（参考訳）: 自然勾配ハイブリッド変分推論と深部混合モデルへの応用
- Authors: Weiben Zhang, Michael Stanley Smith, Worapree Maneesoonthorn, Ruben Loaiza-Maya,
- Abstract要約: 深層混合モデルに対する高速かつ高精度な変分推定法(VI)を提案する。
これは、大域的パラメータと潜伏変数の結合後部を対象とする、明確に定義された勾配変動最適化を採用している。
提案手法は,2つの最先端自然度勾配法よりも高速かつ精度が高いことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stochastic models with global parameters and latent variables are common, and for which variational inference (VI) is popular. However, existing methods are often either slow or inaccurate in high dimensions. We suggest a fast and accurate VI method for this case that employs a well-defined natural gradient variational optimization that targets the joint posterior of the global parameters and latent variables. It is a hybrid method, where at each step the global parameters are updated using the natural gradient and the latent variables are generated from their conditional posterior. A fast to compute expression for the Tikhonov damped Fisher information matrix is used, along with the re-parameterization trick, to provide a stable natural gradient. We apply the approach to deep mixed models, which are an emerging class of Bayesian neural networks with random output layer coefficients to allow for heterogeneity. A range of simulations show that using the natural gradient is substantially more efficient than using the ordinary gradient, and that the approach is faster and more accurate than two cutting-edge natural gradient VI methods. In a financial application we show that accounting for industry level heterogeneity using the deep mixed model improves the accuracy of asset pricing models. MATLAB code to implement the method can be found at: https://github.com/WeibenZhang07/NG-HVI.
- Abstract（参考訳）: 大域的パラメータと潜在変数を持つ確率モデルは一般的であり、変動推論(VI)が一般的である。
しかし、既存の手法は、しばしば高次元において遅いか不正確なかのどちらかである。
本稿では,大域的パラメータと潜伏変数の結合後部を対象とする,明確に定義された自然勾配変動最適化を用いた高速かつ高精度なVI法を提案する。
各ステップで大域的パラメータを自然勾配を用いて更新し、その条件付き後部から潜伏変数を生成するハイブリッド手法である。
チコノフ減衰フィッシャー情報行列の高速計算式と再パラメータ化トリックを用いて、安定な自然勾配を与える。
本研究では,不均一性を実現するために,ランダムな出力層係数を持つベイズニューラルネットワークの新たなクラスであるディープ・ミックス・モデルにアプローチを適用する。
いくつかのシミュレーションでは、自然勾配は通常の勾配よりもかなり効率的であり、アプローチは2つの最先端の自然勾配 VI 法よりも高速で精度が高いことが示されている。
金融アプリケーションでは、深層混合モデルを用いた産業レベルの不均一性を考慮した会計により、資産価格モデルの精度が向上することを示す。
メソッドを実装するためのMATLABコードは、https://github.com/WeibenZhang07/NG-HVIにある。
関連論文リスト
- Gradient-based optimization for variational empirical Bayes multiple regression [2.6763498831034043]
勾配に基づく(準ニュートン)手法に基づく代替最適化手法を提案する。
我々はGradVIが同様の予測性能を示し、予測器が高い相関関係にある場合、より少ないイテレーションで収束することを示す。
提案手法は,オープンソースのPythonソフトウェアGradVIに実装されている。
論文 参考訳（メタデータ） (2024-11-21T20:35:44Z) - Neural Gradient Learning and Optimization for Oriented Point Normal
Estimation [53.611206368815125]
本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。
局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。
本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
論文 参考訳（メタデータ） (2023-09-17T08:35:11Z) - Natural Gradient Methods: Perspectives, Efficient-Scalable
Approximations, and Analysis [0.0]
Natural Gradient Descentは、情報幾何学によって動機付けられた2次最適化手法である。
一般的に使用されるヘッセン語の代わりにフィッシャー情報マトリックスを使用している。
2階法であることは、膨大な数のパラメータとデータを扱う問題で直接使用されることが不可能である。
論文 参考訳（メタデータ） (2023-03-06T04:03:56Z) - VI-DGP: A variational inference method with deep generative prior for
solving high-dimensional inverse problems [0.7734726150561089]
本研究では,高次元後方分布を推定するための新しい近似法を提案する。
このアプローチは、深層生成モデルを利用して、空間的に変化するパラメータを生成することができる事前モデルを学ぶ。
提案手法は自動微分方式で完全に実装できる。
論文 参考訳（メタデータ） (2023-02-22T06:48:10Z) - Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。
MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳（メタデータ） (2022-10-26T10:12:31Z) - Quasi Black-Box Variational Inference with Natural Gradients for
Bayesian Learning [84.90242084523565]
複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。
我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
論文 参考訳（メタデータ） (2022-05-23T18:54:27Z) - Exploiting Adam-like Optimization Algorithms to Improve the Performance
of Convolutional Neural Networks [82.61182037130405]
勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。
本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。
resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
論文 参考訳（メタデータ） (2021-03-26T18:55:08Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳（メタデータ） (2020-06-29T20:57:20Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。