論文の概要: Multivariate Gaussian Variational Inference by Natural Gradient Descent
- arxiv url: http://arxiv.org/abs/2001.10025v2
- Date: Mon, 19 Oct 2020 13:54:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-06 08:06:27.037672
- Title: Multivariate Gaussian Variational Inference by Natural Gradient Descent
- Title(参考訳): 自然勾配降下による多変量ガウス変分推論
- Authors: Timothy D. Barfoot
- Abstract要約: 平均共分散行列と逆共分散行列からなるパラメータ化を選択するにはいくつかの利点があることを示す。
逆共分散行列の対称性(およびスパース性)を考慮に入れた単純なNGD更新を提供する。
- 参考スコア(独自算出の注目度): 14.670851095242451
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This short note reviews so-called Natural Gradient Descent (NGD) for
multivariate Gaussians. The Fisher Information Matrix (FIM) is derived for
several different parameterizations of Gaussians. Careful attention is paid to
the symmetric nature of the covariance matrix when calculating derivatives. We
show that there are some advantages to choosing a parameterization comprising
the mean and inverse covariance matrix and provide a simple NGD update that
accounts for the symmetric (and sparse) nature of the inverse covariance
matrix.
- Abstract(参考訳): この短いノートは、多変量ガウスのいわゆるNatural Gradient Descent (NGD)をレビューしている。
Fisher Information Matrix (FIM) はガウスの様々なパラメータ化のために導出される。
微分を計算する際には、共分散行列の対称性に注意が払われる。
平均および逆共分散行列からなるパラメータ化を選択することにはいくつかの利点があり、逆共分散行列の対称的(かつスパースな)性質を考慮した単純なngd更新を提供する。
関連論文リスト
- Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
論文 参考訳(メタデータ) (2024-07-15T07:11:44Z) - Equivariant Manifold Neural ODEs and Differential Invariants [0.7770029179741429]
我々は同変多様体ニューラル常微分方程式(NODE)の明らかな幾何学的枠組みを開発する。
私たちは、対称データに対するモデリング能力を解析するためにそれを使用します。
論文 参考訳(メタデータ) (2024-01-25T12:23:22Z) - Convex Parameter Estimation of Perturbed Multivariate Generalized
Gaussian Distributions [18.95928707619676]
本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。
提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。
実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
論文 参考訳(メタデータ) (2023-12-12T18:08:04Z) - Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation [49.67011673289242]
本稿では, 推定パラメータが滑らかな多様体内にある推定問題に対して, 新たな性能境界を提案する。
これはパラメータ多様体の幾何学と推定誤差測度の本質的な概念を誘導する。
論文 参考訳(メタデータ) (2023-11-08T15:17:13Z) - Entropic covariance models [0.7614628596146602]
共分散行列の異なる変換に対する線形制限に関する一般的な枠組みを提案する。
提案手法は凸問題を解き,$M$-estimatorを出力する。
論文 参考訳(メタデータ) (2023-06-06T11:25:05Z) - Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。
MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳(メタデータ) (2022-10-26T10:12:31Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳(メタデータ) (2022-04-07T17:59:19Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Approximation Based Variance Reduction for Reparameterization Gradients [38.73307745906571]
柔軟な変分分布は変分推論を改善するが、最適化は困難である。
既知平均と共分散行列を持つ任意の可逆分布に適用可能な制御変数を提案する。
これは、非分解的変分分布の推論に対する勾配分散と最適化収束の大幅な改善をもたらす。
論文 参考訳(メタデータ) (2020-07-29T06:55:11Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。