論文の概要: Variational Inference with Locally Enhanced Bounds for Hierarchical
Models
- arxiv url: http://arxiv.org/abs/2203.04432v1
- Date: Tue, 8 Mar 2022 22:53:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-10 14:56:16.679434
- Title: Variational Inference with Locally Enhanced Bounds for Hierarchical
Models
- Title(参考訳): 階層モデルに対する局所拡張境界を用いた変分推論
- Authors: Tomas Geffner and Justin Domke
- Abstract要約: 本稿では, 階層モデルに対する拡張手法の適用に基づく変分境界の新たなファミリを提案する。
提案手法は,非バイアス勾配にサブサンプリングを用いることが自然に可能であり,より狭い境界を構築する手法のパワーを十分に活用できることを示す。
- 参考スコア(独自算出の注目度): 38.73307745906571
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hierarchical models represent a challenging setting for inference algorithms.
MCMC methods struggle to scale to large models with many local variables and
observations, and variational inference (VI) may fail to provide accurate
approximations due to the use of simple variational families. Some variational
methods (e.g. importance weighted VI) integrate Monte Carlo methods to give
better accuracy, but these tend to be unsuitable for hierarchical models, as
they do not allow for subsampling and their performance tends to degrade for
high dimensional models. We propose a new family of variational bounds for
hierarchical models, based on the application of tightening methods (e.g.
importance weighting) separately for each group of local random variables. We
show that our approach naturally allows the use of subsampling to get unbiased
gradients, and that it fully leverages the power of methods that build tighter
lower bounds by applying them independently in lower dimensional spaces,
leading to better results and more accurate posterior approximations than
relevant baselines.
- Abstract(参考訳): 階層モデルは推論アルゴリズムにとって難しい設定である。
MCMC法は、多くの局所変数と観測値を持つ大規模モデルへのスケールに苦慮し、変異推論(VI)は、単純な変分族の使用により正確な近似を得られない可能性がある。
いくつかの変分法(例えば、重み付きVI)はモンテカルロ法を統合して精度を向上させるが、これらは階層モデルには適さない傾向にある。
本稿では,局所確率変数群ごとに個別に重み付け法(重要度重み付け法など)を適用することにより,階層モデルに対する新しい変分境界の族を提案する。
提案手法は,非偏り勾配に対する部分サンプリングの利用を自然に可能とし,低次元空間に独立に適用することにより,より狭い下界を構築する手法のパワーを十分に活用し,関連する基底線よりも優れた結果とより正確な後部近似をもたらすことを示す。
関連論文リスト
- Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field
and Online Inference [50.91823345296243]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳(メタデータ) (2023-12-10T15:22:30Z) - Aggregation Weighting of Federated Learning via Generalization Bound
Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。
上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文 参考訳(メタデータ) (2023-11-10T08:50:28Z) - Free-Form Variational Inference for Gaussian Process State-Space Models [21.644570034208506]
ベイズGPSSMにおける新しい推論法を提案する。
本手法はハミルトニアンモンテカルロの誘導による自由形式変分推論に基づく。
提案手法は, 競合する手法よりも, 遷移力学や潜伏状態をより正確に学習できることを示す。
論文 参考訳(メタデータ) (2023-02-20T11:34:16Z) - Exact Manifold Gaussian Variational Bayes [76.95091121622674]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を暗黙的に満足するガウス変分推論の効率的なアルゴリズムを開発する。
ブラックボックスの性質のため、EMGVBは複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳(メタデータ) (2022-10-26T10:12:31Z) - PAC Generalization via Invariant Representations [41.02828564338047]
有限標本集合における$epsilon$-approximate不変性の概念を考える。
PAC学習にインスパイアされ、有限サンプルのアウト・オブ・ディストリビューション一般化保証を得る。
この結果から, 介入部位が非次境界ノードの一定サイズの部分集合内にある場合に, 周囲次元でスケールしない境界を示す。
論文 参考訳(メタデータ) (2022-05-30T15:50:14Z) - Amortized Variational Inference for Simple Hierarchical Models [37.56550107432323]
局所潜伏変数の数がデータセットでスケールするため、階層モデルにおける変分推論を伴うサブサンプリングを使用することは困難である。
本稿では,共有パラメータがすべての局所分布を同時に表現するアモータイズ手法を提案する。
また、構造的変動分布を使用するよりも劇的に高速である。
論文 参考訳(メタデータ) (2021-11-04T20:29:12Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳(メタデータ) (2020-10-22T05:04:38Z) - Generalized Matrix Factorization: efficient algorithms for fitting
generalized linear latent variable models to large data arrays [62.997667081978825]
一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。
GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。
本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
論文 参考訳(メタデータ) (2020-10-06T04:28:19Z) - Stochastic spectral embedding [0.0]
確率スペクトル埋め込み(SSE)に基づく新しい逐次適応サロゲートモデリング法を提案する。
本手法は,複雑性と入力次元の異なるモデルの集合上で,最先端のスパースカオス展開に対して,どのように好意的に比較されるかを示す。
論文 参考訳(メタデータ) (2020-04-09T11:00:07Z) - CATVI: Conditional and Adaptively Truncated Variational Inference for
Hierarchical Bayesian Nonparametric Models [0.0]
条件付きおよび適応的にトランケートされた変分推定法(CATVI)を提案する。
CATVIは、ばらつきと真の後部の間のより小さなばらつきを含む、伝統的な方法よりもいくつかの利点がある。
3つの大きなデータセットに関する実証的研究により、ベイズ非パラメトリックトピックモデルに適用されたCATVIが競合モデルを大幅に上回っていることが明らかになった。
論文 参考訳(メタデータ) (2020-01-13T19:27:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。