論文の概要: Scalable Computations for Generalized Mixed Effects Models with Crossed Random Effects Using Krylov Subspace Methods

• arxiv url: http://arxiv.org/abs/2505.09552v1
• Date: Wed, 14 May 2025 16:50:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 21:44:09.535345
• Title: Scalable Computations for Generalized Mixed Effects Models with Crossed Random Effects Using Krylov Subspace Methods
• Title（参考訳）: クリロフ部分空間法による交叉ランダム効果を持つ一般化混合効果モデルのスケーラブル計算
• Authors: Pascal Kündig, Fabio Sigrist,
• Abstract要約: 我々は、いくつかの既存の計算ボトルネックに対処する、クリロフ部分空間に基づく新しい手法を提案する。 我々のソフトウェア実装は、lme4やglmmTMBのような最先端の実装よりも最大10万倍高速で安定しています。
• 参考スコア（独自算出の注目度）: 11.141688859736805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixed effects models are widely used for modeling data with hierarchically grouped structures and high-cardinality categorical predictor variables. However, for high-dimensional crossed random effects, current standard computations relying on Cholesky decompositions can become prohibitively slow. In this work, we present novel Krylov subspace-based methods that address several existing computational bottlenecks. Among other things, we theoretically analyze and empirically evaluate various preconditioners for the conjugate gradient and stochastic Lanczos quadrature methods, derive new convergence results, and develop computationally efficient methods for calculating predictive variances. Extensive experiments using simulated and real-world data sets show that our proposed methods scale much better than Cholesky-based computations, for instance, achieving a runtime reduction of approximately two orders of magnitudes for both estimation and prediction. Moreover, our software implementation is up to 10'000 times faster and more stable than state-of-the-art implementations such as lme4 and glmmTMB when using default settings. Our methods are implemented in the free C++ software library GPBoost with high-level Python and R packages.
• Abstract（参考訳）: 混合効果モデルは階層的なグループ構造と高心性カテゴリー予測変数を用いたデータモデリングに広く用いられている。 しかし、高次元のクロスランダム効果では、コレスキー分解に依存する現在の標準計算は極めて遅くなる。 本稿では,いくつかの既存の計算ボトルネックに対処する,クリロフ部分空間に基づく新しい手法を提案する。 そこで我々は,共役勾配および確率的ランツォス二次法に対する様々なプレコンディショナーを理論的に解析し,実験的に評価し,新しい収束結果を導出し,予測分散を計算するための計算効率の良い方法を開発した。 シミュレーションおよび実世界のデータセットを用いた大規模な実験により,提案手法は,例えば,推定と予測の両面において,およそ2桁の規模で実行時の縮小を実現することなど,Coleskyに基づく計算よりもはるかに優れていることが示された。 さらに、デフォルト設定を使用する場合、我々のソフトウェア実装は、lme4やglmmTMBのような最先端の実装よりも最大10万倍高速で安定しています。 提案手法は,Python と R の高レベルパッケージを備えたフリー C++ ソフトウェアライブラリ GPBoost で実装されている。

関連論文リスト

• Iterative Methods for Full-Scale Gaussian Process Approximations for Large Spatial Data [9.913418444556486]
  本稿では, FSAを用いた確率, 勾配, 予測分布の計算コストの削減に, 反復法をどのように利用できるかを示す。 また,推定法や反復法に依存する予測分散を計算する新しい,正確かつ高速な手法を提案する。 すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
  論文  参考訳（メタデータ） (2024-05-23T12:25:22Z)
• Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [45.76310830281876]
  量子回帰に基づくタスクネットワークのアンサンブルを用いて不確実性を推定する新しい手法であるQuantile Sub-Ensemblesを提案する。 提案手法は,高い損失率に頑健な高精度な計算法を生成するだけでなく,非生成モデルの高速な学習により,計算効率も向上する。
  論文  参考訳（メタデータ） (2023-12-03T05:52:30Z)
• Iterative Methods for Vecchia-Laplace Approximations for Latent Gaussian Process Models [11.141688859736805]
  本稿では,いくつかのプレコンディショナーを導入,解析し,新しい収束結果の導出を行い,予測分散を正確に近似する新しい手法を提案する。 特に、Coleskyベースの計算と比較すると、桁違いの高速化が得られる。 すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
  論文  参考訳（メタデータ） (2023-10-18T14:31:16Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。