論文の概要: Hamiltonian Monte Carlo Inference of Marginalized Linear Mixed-Effects Models

• arxiv url: http://arxiv.org/abs/2410.24079v1
• Date: Thu, 31 Oct 2024 16:16:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:19.640530
• Title: Hamiltonian Monte Carlo Inference of Marginalized Linear Mixed-Effects Models
• Title（参考訳）: 有理化線形混合影響モデルのハミルトンモンテカルロ推定
• Authors: Jinlin Lai, Daniel Sheldon, Justin Domke,
• Abstract要約: 本研究では,線形混合効果モデルにおいて,ランダム効果を容易に除去するアルゴリズムを開発した。 ナイーブアプローチは、ハミルトンモンテカルロ(HMC)のような推論アルゴリズムにおける立方的時間演算を導入する 適用可能な場合の限界化は常に有益であることを示し、様々なモデルの改善を強調します。
• 参考スコア（独自算出の注目度）: 26.534682620182707
• License:
• Abstract: Bayesian reasoning in linear mixed-effects models (LMMs) is challenging and often requires advanced sampling techniques like Markov chain Monte Carlo (MCMC). A common approach is to write the model in a probabilistic programming language and then sample via Hamiltonian Monte Carlo (HMC). However, there are many ways a user can transform a model that make inference more or less efficient. In particular, marginalizing some variables can greatly improve inference but is difficult for users to do manually. We develop an algorithm to easily marginalize random effects in LMMs. A naive approach introduces cubic time operations within an inference algorithm like HMC, but we reduce the running time to linear using fast linear algebra techniques. We show that marginalization is always beneficial when applicable and highlight improvements in various models, especially ones from cognitive sciences.
• Abstract（参考訳）: 線形混合効果モデル(LMM)におけるベイズ的推論は困難であり、マルコフ連鎖モンテカルロ(MCMC)のような高度なサンプリング技術を必要とすることが多い。 一般的なアプローチは確率的プログラミング言語でモデルを書き、ハミルトンモンテカルロ (HMC) 経由でサンプルを作成することである。 しかしながら、推論を多かれ少なかれ効率的にするモデルを、ユーザが変換する方法はたくさんあります。 特に、一部の変数の辺境化は推論を大幅に改善するが、ユーザーが手動で行うことは困難である。 我々は,LMMにおけるランダム効果を簡単に除去するアルゴリズムを開発した。 ナイーブなアプローチでは、HMCのような推論アルゴリズム内での立方体時間演算を導入するが、高速線形代数手法を用いてランニング時間を線形に短縮する。 様々なモデル,特に認知科学のモデルにおいて,限界化は適用可能であれば常に有益であることを示す。

関連論文リスト

• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Automatically Marginalized MCMC in Probabilistic Programming [12.421267523795114]
  Hamiltonian Monte Carlo (HMC) はベイズモデルから潜伏変数をサンプリングする強力なアルゴリズムである。 PPLから抽出したグラフィカルモデルにおいて, HMC を用いたサンプリングプロセスの一部として, 自動残差化を用いることを提案する。
  論文  参考訳（メタデータ） (2023-02-01T16:34:07Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• A fast asynchronous MCMC sampler for sparse Bayesian inference [10.535140830570256]
  本稿では,非常に高速なマルコフ・チェイン・モンテカルロ(MCMC)サンプリングフレームワークを提案する。 本研究では, 高次元線形回帰問題において, 提案アルゴリズムで生成したマルコフ連鎖は, 主信号の正確な復元を行う不変分布を持つことを示す。
  論文  参考訳（メタデータ） (2021-08-14T02:20:49Z)
• Bayesian Inference in High-Dimensional Time-Serieswith the Orthogonal Stochastic Linear Mixing Model [2.7909426811685893]
  現代の時系列データセットの多くは、長期間にわたってサンプリングされた大量の出力応答変数を含んでいる。 本稿では,多種多様な大規模時系列データセット解析のための新しいマルコフ連鎖モンテカルロフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-25T01:12:54Z)
• Scaling Bayesian inference of mixed multinomial logit models to very large datasets [9.442139459221785]
  本稿では,バックプロパゲーション,自動微分,GPU加速計算を活用するアモルティファイド変分推論手法を提案する。 本研究では, 後部近似の柔軟性を高めるために, フローの正規化がいかに有効かを示す。
  論文  参考訳（メタデータ） (2020-04-11T15:30:47Z)
• Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
  乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。 アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。 ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
  論文  参考訳（メタデータ） (2020-02-20T10:50:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。