論文の概要: Natural Gradient Variational Inference with Gaussian Mixture Models
- arxiv url: http://arxiv.org/abs/2111.08002v1
- Date: Mon, 15 Nov 2021 20:04:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-18 06:35:02.013306
- Title: Natural Gradient Variational Inference with Gaussian Mixture Models
- Title(参考訳): ガウス混合モデルを用いた自然勾配変分推論
- Authors: Farzaneh Mahdisoltani
- Abstract要約: 変分推論 (VI) 法は、最適化を用いて単純な家族から選択される分布と後部を近似する。
この研究の主な貢献は、自然勾配の変分推論とガウスの混合に対する更新規則の集合である。
- 参考スコア(独自算出の注目度): 1.7948767405202701
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian methods estimate a measure of uncertainty by using the posterior
distribution. One source of difficulty in these methods is the computation of
the normalizing constant. Calculating exact posterior is generally intractable
and we usually approximate it. Variational Inference (VI) methods approximate
the posterior with a distribution usually chosen from a simple family using
optimization. The main contribution of this work is described is a set of
update rules for natural gradient variational inference with mixture of
Gaussians, which can be run independently for each of the mixture components,
potentially in parallel.
- Abstract(参考訳): ベイズ法は後方分布を用いて不確実性の尺度を推定する。
これらの方法の難易度の一つは正規化定数の計算である。
正確な後方の計算は一般に難解であり、通常は近似する。
変分推論 (VI) 法は、最適化を用いて単純な家族から選択される分布と後部を近似する。
この研究の主な貢献は、ガウスの混合物と自然勾配の変分推論のための一連の更新規則であり、それぞれの混合成分に対して独立に実行でき、潜在的に並行して実行できる。
関連論文リスト
- SoftCVI: Contrastive variational inference with self-generated soft labels [2.5398014196797614]
変分推論とマルコフ連鎖モンテカルロ法がこのタスクの主要なツールである。
ソフトコントラスト変動推論(SoftCVI)を導入し、コントラスト推定フレームワークを用いて変動対象のファミリーを導出する。
我々は、SoftCVIを用いて、訓練や大量発見に安定な目標を定式化することができ、他の変分アプローチよりも頻繁に優れた推論が可能であることを発見した。
論文 参考訳(メタデータ) (2024-07-22T14:54:12Z) - Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳(メタデータ) (2024-04-24T09:04:36Z) - Variational Elliptical Processes [1.5703073293718952]
本稿では,非パラメトリック確率モデルの一群である楕円過程と,学生の後続過程について述べる。
我々はこの混合分布をスプライン正規化フローとしてパラメータ化し、変分推論を用いて訓練する。
提案した変分後部の形状は,大規模な問題に適用可能なスパース変分楕円過程を可能にする。
論文 参考訳(メタデータ) (2023-11-21T12:26:14Z) - Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文 参考訳(メタデータ) (2023-07-12T19:30:04Z) - A Quadrature Rule combining Control Variates and Adaptive Importance
Sampling [0.0]
モンテカルロ積分推定の精度を向上させるために, 単純重み付き最小二乗法が有効であることを示す。
我々の主な成果は、プロシージャの確率的誤差の非漸近的境界である。
この手法のよい振る舞いは、ベイズ線形回帰のための合成例と実世界のデータに実証的に説明される。
論文 参考訳(メタデータ) (2022-05-24T08:21:45Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳(メタデータ) (2021-05-03T16:36:27Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳(メタデータ) (2021-01-16T17:11:02Z) - Pathwise Conditioning of Gaussian Processes [72.61885354624604]
ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。
この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。
条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
論文 参考訳(メタデータ) (2020-11-08T17:09:37Z) - Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。
分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
論文 参考訳(メタデータ) (2020-02-21T14:03:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。