論文の概要: Conjugate gradient methods for high-dimensional GLMMs

• arxiv url: http://arxiv.org/abs/2411.04729v1
• Date: Thu, 07 Nov 2024 14:09:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:37:34.425108
• Title: Conjugate gradient methods for high-dimensional GLMMs
• Title（参考訳）: 高次元GLMMに対する共役勾配法
• Authors: Andrea Pandolfi, Omiros Papaspiliopoulos, Giacomo Zanella,
• Abstract要約: 一般化線形混合モデル(GLMM)は統計解析において広く用いられているツールである。 多くの計算手法の主なボトルネックは、ランダム効果に関連する高次元精度行列の逆転にある。 通常のGLMMに対して、元の精度がスパースである場合でも、Colesky因子は密であることを示す。 そこで我々は,特に共役勾配法 (CG) に近似した反復的手法に目を向ける。
• 参考スコア（独自算出の注目度）: 1.9249322453427302
• License:
• Abstract: Generalized linear mixed models (GLMMs) are a widely used tool in statistical analysis. The main bottleneck of many computational approaches lies in the inversion of the high dimensional precision matrices associated with the random effects. Such matrices are typically sparse; however, the sparsity pattern resembles a multi partite random graph, which does not lend itself well to default sparse linear algebra techniques. Notably, we show that, for typical GLMMs, the Cholesky factor is dense even when the original precision is sparse. We thus turn to approximate iterative techniques, in particular to the conjugate gradient (CG) method. We combine a detailed analysis of the spectrum of said precision matrices with results from random graph theory to show that CG-based methods applied to high-dimensional GLMMs typically achieve a fixed approximation error with a total cost that scales linearly with the number of parameters and observations. Numerical illustrations with both real and simulated data confirm the theoretical findings, while at the same time illustrating situations, such as nested structures, where CG-based methods struggle.
• Abstract（参考訳）: 一般化線形混合モデル(GLMM)は統計解析において広く用いられているツールである。 多くの計算手法の主なボトルネックは、ランダム効果に関連する高次元精度行列の逆転にある。 このような行列は一般にスパースであるが、スパースパターンはマルチパーティライトランダムグラフに似ており、デフォルトのスパース線型代数技術にはあまり役に立たない。 特に、一般的なGLMMに対して、元の精度がスパースである場合でも、チョレスキー因子は密であることを示す。 そこで我々は,特に共役勾配法 (CG) に近似した反復的手法に目を向ける。 本研究では,これらの精度行列のスペクトルをランダムグラフ理論の結果と組み合わせ,高次元GLMMに適用したCGベースの手法が,パラメータ数や観測値と線形にスケールする総コストの固定近似誤差を典型的に達成することを示す。 実データとシミュレーションデータの両方を用いた数値図は、理論的な発見を裏付けると同時に、CGベースの手法が苦戦するネスト構造のような状況も示している。

関連論文リスト

• Concentration of a sparse Bayesian model with Horseshoe prior in estimating high-dimensional precision matrix [0.0]
  提案手法は,高次元設定に先立って完全に規定されたホースシューを用いた後部温暖化に関する理論的結果を提供する。 また, モデルミス種別に関する新たな理論的結果も提供し, 後肢に一般的なオラクルの不等式を提供する。
  論文  参考訳（メタデータ） (2024-06-20T12:50:54Z)
• DNNLasso: Scalable Graph Learning for Matrix-Variate Data [2.7195102129095003]
  我々は,Kronecker-sum構造精度行列を推定するための,対角非負のグラフィカルラッソモデルを提案する。 DNNLassoは、最先端の手法を精度と計算時間の両方で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2024-03-05T02:49:00Z)
• Partially factorized variational inference for high-dimensional mixed models [0.0]
  変分推論(VI)法はそのような計算を行う一般的な方法である。 標準VI(平均場)は、高次元における後方の不確かさを劇的に過小評価していることを示す。 次に、平均場仮定を適切に緩和すると、不確かさの定量化が高次元で悪化しないVI法が得られることを示す。
  論文  参考訳（メタデータ） (2023-12-20T16:12:37Z)
• Spectral Estimators for Structured Generalized Linear Models via Approximate Message Passing [28.91482208876914]
  本研究では,高次元一般化線形モデルにおけるパラメータ推定の問題について考察する。 広く使われているにもかかわらず、厳密なパフォーマンス特性とデータ前処理の原則が、構造化されていない設計でのみ利用可能である。
  論文  参考訳（メタデータ） (2023-08-28T11:49:23Z)
• Large-scale gradient-based training of Mixtures of Factor Analyzers [67.21722742907981]
  本稿では,勾配降下による高次元学習を効果的に行うための理論解析と新しい手法の両立に寄与する。 MFAトレーニングと推論/サンプリングは,学習終了後の行列逆変換を必要としない精度行列に基づいて行うことができることを示す。 理論解析と行列の他に,SVHNやMNISTなどの画像データセットにMFAを適用し,サンプル生成と外乱検出を行う能力を示す。
  論文  参考訳（メタデータ） (2023-08-26T06:12:33Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Estimation of sparse Gaussian graphical models with hidden clustering structure [8.258451067861932]
  隠れクラスタリング構造を持つスパースガウス図形モデルを推定するモデルを提案する。 対称なガウス・シーデルに基づく乗算器の交互方向法を開発した。 合成データと実データの両方に関する数値実験により,本モデルの有効性が示された。
  論文  参考訳（メタデータ） (2020-04-17T08:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。