論文の概要: Variational Inference with Locally Enhanced Bounds for Hierarchical Models

• arxiv url: http://arxiv.org/abs/2203.04432v1
• Date: Tue, 8 Mar 2022 22:53:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-10 14:56:16.679434
• Title: Variational Inference with Locally Enhanced Bounds for Hierarchical Models
• Title（参考訳）: 階層モデルに対する局所拡張境界を用いた変分推論
• Authors: Tomas Geffner and Justin Domke
• Abstract要約: 本稿では, 階層モデルに対する拡張手法の適用に基づく変分境界の新たなファミリを提案する。 提案手法は,非バイアス勾配にサブサンプリングを用いることが自然に可能であり,より狭い境界を構築する手法のパワーを十分に活用できることを示す。
• 参考スコア（独自算出の注目度）: 38.73307745906571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hierarchical models represent a challenging setting for inference algorithms. MCMC methods struggle to scale to large models with many local variables and observations, and variational inference (VI) may fail to provide accurate approximations due to the use of simple variational families. Some variational methods (e.g. importance weighted VI) integrate Monte Carlo methods to give better accuracy, but these tend to be unsuitable for hierarchical models, as they do not allow for subsampling and their performance tends to degrade for high dimensional models. We propose a new family of variational bounds for hierarchical models, based on the application of tightening methods (e.g. importance weighting) separately for each group of local random variables. We show that our approach naturally allows the use of subsampling to get unbiased gradients, and that it fully leverages the power of methods that build tighter lower bounds by applying them independently in lower dimensional spaces, leading to better results and more accurate posterior approximations than relevant baselines.
• Abstract（参考訳）: 階層モデルは推論アルゴリズムにとって難しい設定である。 MCMC法は、多くの局所変数と観測値を持つ大規模モデルへのスケールに苦慮し、変異推論(VI)は、単純な変分族の使用により正確な近似を得られない可能性がある。 いくつかの変分法(例えば、重み付きVI)はモンテカルロ法を統合して精度を向上させるが、これらは階層モデルには適さない傾向にある。 本稿では,局所確率変数群ごとに個別に重み付け法(重要度重み付け法など)を適用することにより,階層モデルに対する新しい変分境界の族を提案する。 提案手法は,非偏り勾配に対する部分サンプリングの利用を自然に可能とし,低次元空間に独立に適用することにより,より狭い下界を構築する手法のパワーを十分に活用し,関連する基底線よりも優れた結果とより正確な後部近似をもたらすことを示す。

関連論文リスト

• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• Free-Form Variational Inference for Gaussian Process State-Space Models [21.644570034208506]
  ベイズGPSSMにおける新しい推論法を提案する。 本手法はハミルトニアンモンテカルロの誘導による自由形式変分推論に基づく。 提案手法は, 競合する手法よりも, 遷移力学や潜伏状態をより正確に学習できることを示す。
  論文  参考訳（メタデータ） (2023-02-20T11:34:16Z)
• PAC Generalization via Invariant Representations [41.02828564338047]
  有限標本集合における$epsilon$-approximate不変性の概念を考える。 PAC学習にインスパイアされ、有限サンプルのアウト・オブ・ディストリビューション一般化保証を得る。 この結果から, 介入部位が非次境界ノードの一定サイズの部分集合内にある場合に, 周囲次元でスケールしない境界を示す。
  論文  参考訳（メタデータ） (2022-05-30T15:50:14Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Scalable mixed-domain Gaussian process modeling and model reduction for longitudinal data [5.00301731167245]
  混合領域共分散関数に対する基底関数近似スキームを導出する。 我々は,GPモデルの精度をランタイムのごく一部で正確に近似できることを示す。 また、より小さく、より解釈可能なモデルを得るためのスケーラブルなモデルリダクションワークフローを実証する。
  論文  参考訳（メタデータ） (2021-11-03T04:47:37Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• CATVI: Conditional and Adaptively Truncated Variational Inference for Hierarchical Bayesian Nonparametric Models [0.0]
  条件付きおよび適応的にトランケートされた変分推定法(CATVI)を提案する。 CATVIは、ばらつきと真の後部の間のより小さなばらつきを含む、伝統的な方法よりもいくつかの利点がある。 3つの大きなデータセットに関する実証的研究により、ベイズ非パラメトリックトピックモデルに適用されたCATVIが競合モデルを大幅に上回っていることが明らかになった。
  論文  参考訳（メタデータ） (2020-01-13T19:27:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。