Fugu-MT 論文翻訳(概要): Multivariate Gaussian Variational Inference by Natural Gradient Descent

論文の概要: Multivariate Gaussian Variational Inference by Natural Gradient Descent

arxiv url: http://arxiv.org/abs/2001.10025v2
Date: Mon, 19 Oct 2020 13:54:16 GMT
ステータス: 処理完了
システム内更新日: 2023-01-06 08:06:27.037672
Title: Multivariate Gaussian Variational Inference by Natural Gradient Descent
Title（参考訳）: 自然勾配降下による多変量ガウス変分推論
Authors: Timothy D. Barfoot
Abstract要約: 平均共分散行列と逆共分散行列からなるパラメータ化を選択するにはいくつかの利点があることを示す。逆共分散行列の対称性(およびスパース性)を考慮に入れた単純なNGD更新を提供する。
参考スコア（独自算出の注目度）: 14.670851095242451
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This short note reviews so-called Natural Gradient Descent (NGD) for multivariate Gaussians. The Fisher Information Matrix (FIM) is derived for several different parameterizations of Gaussians. Careful attention is paid to the symmetric nature of the covariance matrix when calculating derivatives. We show that there are some advantages to choosing a parameterization comprising the mean and inverse covariance matrix and provide a simple NGD update that accounts for the symmetric (and sparse) nature of the inverse covariance matrix.
Abstract（参考訳）: この短いノートは、多変量ガウスのいわゆるNatural Gradient Descent (NGD)をレビューしている。 Fisher Information Matrix (FIM) はガウスの様々なパラメータ化のために導出される。微分を計算する際には、共分散行列の対称性に注意が払われる。平均および逆共分散行列からなるパラメータ化を選択することにはいくつかの利点があり、逆共分散行列の対称的(かつスパースな)性質を考慮した単純なngd更新を提供する。

関連論文リスト

Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
論文参考訳（メタデータ） (2024-07-15T07:11:44Z)
Convex Parameter Estimation of Perturbed Multivariate Generalized Gaussian Distributions [18.95928707619676]
本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
論文参考訳（メタデータ） (2023-12-12T18:08:04Z)
Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation [49.67011673289242]
本稿では, 推定パラメータが滑らかな多様体内にある推定問題に対して, 新たな性能境界を提案する。これはパラメータ多様体の幾何学と推定誤差測度の本質的な概念を誘導する。
論文参考訳（メタデータ） (2023-11-08T15:17:13Z)
Entropic covariance models [0.7614628596146602]
共分散行列の異なる変換に対する線形制限に関する一般的な枠組みを提案する。提案手法は凸問題を解き,$M$-estimatorを出力する。
論文参考訳（メタデータ） (2023-06-06T11:25:05Z)
Low-complexity subspace-descent over symmetric positive definite manifold [9.346050098365648]
対称正定値多様体(SPD)上の関数の最小化のための低複素性アルゴリズムを開発する。提案手法は、慎重に選択された部分空間を利用して、更新をイテレートのコレスキー因子とスパース行列の積として記述することができる。
論文参考訳（メタデータ） (2023-05-03T11:11:46Z)
Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文参考訳（メタデータ） (2022-10-26T10:12:31Z)
Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文参考訳（メタデータ） (2022-04-07T17:59:19Z)
Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは経験的に過剰フィットを防げる中心的存在ですこの研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文参考訳（メタデータ） (2021-03-23T17:15:53Z)
Approximation Based Variance Reduction for Reparameterization Gradients [38.73307745906571]
柔軟な変分分布は変分推論を改善するが、最適化は困難である。既知平均と共分散行列を持つ任意の可逆分布に適用可能な制御変数を提案する。これは、非分解的変分分布の推論に対する勾配分散と最適化収束の大幅な改善をもたらす。
論文参考訳（メタデータ） (2020-07-29T06:55:11Z)
Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。暗黙正則化現象の理論的保証を提供する。
論文参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。