論文の概要: Scalable Computations for Generalized Mixed Effects Models with Crossed Random Effects Using Krylov Subspace Methods
- arxiv url: http://arxiv.org/abs/2505.09552v1
- Date: Wed, 14 May 2025 16:50:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-15 21:44:09.535345
- Title: Scalable Computations for Generalized Mixed Effects Models with Crossed Random Effects Using Krylov Subspace Methods
- Title（参考訳）: クリロフ部分空間法による交叉ランダム効果を持つ一般化混合効果モデルのスケーラブル計算
- Authors: Pascal Kündig, Fabio Sigrist,
- Abstract要約: 我々は、いくつかの既存の計算ボトルネックに対処する、クリロフ部分空間に基づく新しい手法を提案する。
我々のソフトウェア実装は、lme4やglmmTMBのような最先端の実装よりも最大10万倍高速で安定しています。
- 参考スコア（独自算出の注目度）: 11.141688859736805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixed effects models are widely used for modeling data with hierarchically grouped structures and high-cardinality categorical predictor variables. However, for high-dimensional crossed random effects, current standard computations relying on Cholesky decompositions can become prohibitively slow. In this work, we present novel Krylov subspace-based methods that address several existing computational bottlenecks. Among other things, we theoretically analyze and empirically evaluate various preconditioners for the conjugate gradient and stochastic Lanczos quadrature methods, derive new convergence results, and develop computationally efficient methods for calculating predictive variances. Extensive experiments using simulated and real-world data sets show that our proposed methods scale much better than Cholesky-based computations, for instance, achieving a runtime reduction of approximately two orders of magnitudes for both estimation and prediction. Moreover, our software implementation is up to 10'000 times faster and more stable than state-of-the-art implementations such as lme4 and glmmTMB when using default settings. Our methods are implemented in the free C++ software library GPBoost with high-level Python and R packages.
- Abstract（参考訳）: 混合効果モデルは階層的なグループ構造と高心性カテゴリー予測変数を用いたデータモデリングに広く用いられている。
しかし、高次元のクロスランダム効果では、コレスキー分解に依存する現在の標準計算は極めて遅くなる。
本稿では,いくつかの既存の計算ボトルネックに対処する,クリロフ部分空間に基づく新しい手法を提案する。
そこで我々は,共役勾配および確率的ランツォス二次法に対する様々なプレコンディショナーを理論的に解析し,実験的に評価し,新しい収束結果を導出し,予測分散を計算するための計算効率の良い方法を開発した。
シミュレーションおよび実世界のデータセットを用いた大規模な実験により,提案手法は,例えば,推定と予測の両面において,およそ2桁の規模で実行時の縮小を実現することなど,Coleskyに基づく計算よりもはるかに優れていることが示された。
さらに、デフォルト設定を使用する場合、我々のソフトウェア実装は、lme4やglmmTMBのような最先端の実装よりも最大10万倍高速で安定しています。
提案手法は,Python と R の高レベルパッケージを備えたフリー C++ ソフトウェアライブラリ GPBoost で実装されている。
関連論文リスト
- Vecchia-Inducing-Points Full-Scale Approximations for Gaussian Processes [9.913418444556486]
ガウス過程に対するVecchia-inducing-points full-scale (VIF)近似を提案する。
我々は、VIF近似は計算効率が良く、また、最先端の代替手法よりも精度が高く、数値的に安定であることを示した。
すべてのメソッドは、オープンソースのC++ライブラリGPBoostで実装され、ハイレベルなPythonとRインターフェースを持つ。
論文 参考訳（メタデータ） (2025-07-07T14:49:06Z) - Revisiting Randomization in Greedy Model Search [16.15551706774035]
特徴サブサンプリングによってランダム化される欲求前方選択推定器のアンサンブルを提案し,解析する。
計算効率を大幅に向上させる動的プログラミングに基づく新しい実装を設計する。
ランダム化アンサンブルが縮小と類似しているという一般的な信念とは対照的に、トレーニングエラーと自由度を同時に低減できることが示される。
論文 参考訳（メタデータ） (2025-06-18T17:13:53Z) - A sparse PAC-Bayesian approach for high-dimensional quantile prediction [0.0]
本稿では,高次元量子化予測のための確率論的機械学習手法を提案する。
擬似ベイズ的フレームワークとスケールした学生tとランゲヴィン・モンテカルロを併用して効率的な計算を行う。
その効果はシミュレーションや実世界のデータを通じて検証され、そこでは確立された頻繁な手法やベイズ的手法と競合する。
論文 参考訳（メタデータ） (2024-09-03T08:01:01Z) - Iterative Methods for Full-Scale Gaussian Process Approximations for Large Spatial Data [9.913418444556486]
本稿では, FSAを用いた確率, 勾配, 予測分布の計算コストの削減に, 反復法をどのように利用できるかを示す。
また,推定法や反復法に依存する予測分散を計算する新しい,正確かつ高速な手法を提案する。
すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
論文 参考訳（メタデータ） (2024-05-23T12:25:22Z) - Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [45.76310830281876]
量子回帰に基づくタスクネットワークのアンサンブルを用いて不確実性を推定する新しい手法であるQuantile Sub-Ensemblesを提案する。
提案手法は,高い損失率に頑健な高精度な計算法を生成するだけでなく,非生成モデルの高速な学習により,計算効率も向上する。
論文 参考訳（メタデータ） (2023-12-03T05:52:30Z) - Iterative Methods for Vecchia-Laplace Approximations for Latent Gaussian Process Models [11.141688859736805]
本稿では,いくつかのプレコンディショナーを導入,解析し,新しい収束結果の導出を行い,予測分散を正確に近似する新しい手法を提案する。
特に、Coleskyベースの計算と比較すると、桁違いの高速化が得られる。
すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
論文 参考訳（メタデータ） (2023-10-18T14:31:16Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T13:18:31Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳（メタデータ） (2020-11-14T09:51:51Z) - Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。
入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。
実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
論文 参考訳（メタデータ） (2020-06-16T18:43:31Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳（メタデータ） (2020-05-22T22:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。