論文の概要: Partially factorized variational inference for high-dimensional mixed models

• arxiv url: http://arxiv.org/abs/2312.13148v1
• Date: Wed, 20 Dec 2023 16:12:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 14:51:12.037668
• Title: Partially factorized variational inference for high-dimensional mixed models
• Title（参考訳）: 高次元混合モデルに対する部分分解変分推論
• Authors: Max Goplerud, Omiros Papaspiliopoulos, Giacomo Zanella
• Abstract要約: 変分推論(VI)法はそのような計算を行う一般的な方法である。 標準VI(平均場)は、高次元における後方の不確かさを劇的に過小評価していることを示す。 次に、平均場仮定を適切に緩和すると、不確かさの定量化が高次元で悪化しないVI法が得られることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While generalized linear mixed models (GLMMs) are a fundamental tool in applied statistics, many specifications -- such as those involving categorical factors with many levels or interaction terms -- can be computationally challenging to estimate due to the need to compute or approximate high-dimensional integrals. Variational inference (VI) methods are a popular way to perform such computations, especially in the Bayesian context. However, naive VI methods can provide unreliable uncertainty quantification. We show that this is indeed the case in the GLMM context, proving that standard VI (i.e. mean-field) dramatically underestimates posterior uncertainty in high-dimensions. We then show how appropriately relaxing the mean-field assumption leads to VI methods whose uncertainty quantification does not deteriorate in high-dimensions, and whose total computational cost scales linearly with the number of parameters and observations. Our theoretical and numerical results focus on GLMMs with Gaussian or binomial likelihoods, and rely on connections to random graph theory to obtain sharp high-dimensional asymptotic analysis. We also provide generic results, which are of independent interest, relating the accuracy of variational inference to the convergence rate of the corresponding coordinate ascent variational inference (CAVI) algorithm for Gaussian targets. Our proposed partially-factorized VI (PF-VI) methodology for GLMMs is implemented in the R package vglmer, see https://github.com/mgoplerud/vglmer . Numerical results with simulated and real data examples illustrate the favourable computation cost versus accuracy trade-off of PF-VI.
• Abstract（参考訳）: 一般化線形混合モデル(glmms)は応用統計学における基本的なツールであるが、多数のレベルや相互作用項を持つ分類因子を含む多くの仕様は、高次元積分の計算や近似の必要性から計算的に難しい。 変分推論(VI)法は、特にベイズ文脈において、そのような計算を行う一般的な方法である。 しかし、ナイーブVI法は信頼できない不確実性を定量化することができる。 GLMMの文脈では、標準VI(平均場)が高次元の後方の不確かさを劇的に過小評価していることが示される。 次に, 平均場推定がいかに適切に緩和され, 高次元では不確かさの定量化が低下せず, 計算コストがパラメータ数や観測値と線形に縮まるvi法が導かれるかを示す。 我々の理論的および数値的な結果はガウス的あるいは二項的確率を持つGLMMに焦点をあて、急激な高次元漸近解析を得るためにランダムグラフ理論への接続に依存する。 また,変分推定の精度をガウス目標に対するCAVIアルゴリズムの収束率に関連付ける,独立した関心を持つ総合的な結果も提供する。 GLMMのための部分分解VI(PF-VI)手法をRパッケージvglmerに実装した。 シミュレーションおよび実データ例を用いた数値結果はpf-viの計算コストと精度のトレードオフを示す。

関連論文リスト

• Variational Bayesian surrogate modelling with application to robust design optimisation [0.9626666671366836]
  サロゲートモデルは複雑な計算モデルに対して素早く評価できる近似を提供する。 入力の不確かさと次元減少を伴う統計的代理を構築するためのベイズ推定について考察する。
  論文  参考訳（メタデータ） (2024-04-23T09:22:35Z)
• Extending Mean-Field Variational Inference via Entropic Regularization: Theory and Computation [2.2656885622116394]
  変分推論 (VI) は高次元ベイズモデルに対する近似推論の一般的な方法として登場した。 エントロピー正則化を通したナイーブ平均場を拡張する新しいVI法を提案する。 我々は,$Xi$-variational rearsが真の後縁依存性を効果的に回復することを示した。
  論文  参考訳（メタデータ） (2024-04-14T01:40:11Z)
• Efficient Training of Probabilistic Neural Networks for Survival Analysis [0.6437284704257459]
  変分推論(VI)は、ディープラーニングモデルにおけるベイズ推定と不確実性推定によく用いられる手法である。 これは、不確実性を表すためにトレーニング可能なパラメータの数を2倍にするため、計算コストがかかる。 本研究では,モデル複雑性のオーバーヘッドを増大させることなく,大規模データセットの深層確率的生存モデルをトレーニングする方法を検討する。
  論文  参考訳（メタデータ） (2024-04-09T16:10:39Z)
• A Generalized Variable Importance Metric and Estimator for Black Box Machine Learning Models [0.21249247666376617]
  我々は、ブラックボックス機械学習手法における予測器の重要性を測定するために、集団パラメータ、一般化可変重要度指標(GVIM)'を定義した。 我々は,定義したGVIMが,任意の種類の予測器に対する条件平均処理効果(CATE)の関数として表現可能であることを示すために,予め公表した結果を拡張した。
  論文  参考訳（メタデータ） (2022-12-20T00:50:28Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
  ガウスのプロセスはデータセットのサイズとともに違法にスケールする。 多くの近似法が開発されており、必然的に近似誤差を導入している。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
  論文  参考訳（メタデータ） (2022-05-30T22:16:25Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• Maximum likelihood estimation and uncertainty quantification for Gaussian process approximation of deterministic functions [10.319367855067476]
  本稿は、ガウス過程の回帰の文脈において、ノイズのないデータセットを用いた最初の理論的分析の1つを提供する。 本稿では,スケールパラメータのみの最大推定がガウス過程モデルの不特定に対する顕著な適応をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-01-29T17:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。