論文の概要: Overfitted high-dimensional matrix factorizations via adaptive spectral shrinkage

• arxiv url: http://arxiv.org/abs/2606.19540v1
• Date: Wed, 17 Jun 2026 19:33:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.507328
• Title: Overfitted high-dimensional matrix factorizations via adaptive spectral shrinkage
• Title（参考訳）: 適応スペクトル収縮による過適合高次元行列分解
• Authors: Lorenzo Mauri, David B. Dunson,
• Abstract要約: textttEigenBayesは各結果と潜時次元の信号対雑音比に適応し、潜時成分を0に縮小することを示す。 数値実験における実験性能とゲノミクスの応用について述べる。
• 参考スコア（独自算出の注目度）: 8.549941732144035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Factor models are popular approaches for analyzing high-dimensional data to extract low-rank signals and estimate covariances. They decompose the covariance matrix as the sum of low-rank and diagonal components. A key issue is how to choose the latent dimension $k$, which is particularly challenging when the factor model only holds approximately and in low signal-to-noise scenarios. Bayesian overfitted factor models specify an upper bound on $k$ and rely on structured shrinkage priors to effectively remove extra components. Such approaches are popular and effective, but computationally expensive. We propose a much faster \texttt{EigenBayes} approach that provides valid uncertainty quantification, based on spectral estimation of latent factors and adaptive empirical Bayes calibration of key hyperparameters. The resulting posterior distribution factorizes across outcomes and is analytically tractable, bypassing Markov chain Monte Carlo. We show that \texttt{EigenBayes} adapts to the signal-to-noise ratio of each outcome and latent dimension, while shrinking superfluous latent components to zero. We establish favorable asymptotic properties and demonstrate strong empirical performance in numerical experiments and a genomics application, where EigenBayes outperforms state-of-the-art alternatives.
• Abstract（参考訳）: 因子モデルは、高次元データを解析して低ランクな信号を抽出し、共分散を推定するための一般的なアプローチである。 彼らは共分散行列を低ランク成分と対角成分の和として分解する。 重要な問題は、潜伏次元を$k$で選択する方法である。これは、ファクターモデルがほぼ低信号対雑音のシナリオでしか持たない場合、特に難しい。 ベイズ的過適合因子モデルでは、$k$の上限を指定し、余分な成分を効果的に除去するために、構造化された縮退先に依存する。 このようなアプローチは人気があり効果があるが、計算には高価である。 我々は、潜時因子のスペクトル推定とキーハイパーパラメータの適応的ベイズ校正に基づいて、有効な不確実性定量化を提供する、はるかに高速な \texttt{EigenBayes} アプローチを提案する。 結果として得られる後部分布は、結果を分解し、分析的に抽出可能であり、マルコフ連鎖モンテカルロをバイパスする。 我々は,超流動性潜伏成分を0に縮めながら,各結果と潜伏次元の信号対雑音比に適応することを示す。 我々は好適な漸近特性を確立し、数値実験やゲノミクスの応用において強い経験的性能を示し、EigenBayesは最先端の代替品より優れている。

関連論文リスト

• Inference on covariance structure in high-dimensional multi-view data [8.549941732144035]
  後続計算は、高価で脆いマルコフ連鎖モンテカルロサンプリングまたは変分近似によって行われる。 提案手法は,少なくとも1つの視点で有効である潜在因子を推定・調整するためにスペクトル分解を用いる。 正確な不確実性を含むシミュレーションにおいて優れた性能を示し、がん細胞サンプルのマルチオミクスデータセットから4つの高次元ビューを統合する手法を適用した。
  論文  参考訳（メタデータ） (2025-09-02T19:20:42Z)
• T-Rex: Fitting a Robust Factor Model via Expectation-Maximization [0.0]
  統計的因子モデルに頑健に適合する新しい予測最大化(EM)アルゴリズムを提案する。 我々のアプローチは、楕円分布に対する散乱行列のタイラーのM-推定器に基づいている。 合成例と実例の両方について数値実験を行った。
  論文  参考訳（メタデータ） (2025-05-17T18:53:06Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Optimal Differentially Private PCA and Estimation for Spiked Covariance Matrices [10.377683220196873]
  共分散行列とその関連する主成分を推定することは、現代統計学における根本的な問題である。 スパイク共分散モデルにおける最適偏微分的主成分分析(PCA)と共分散推定について検討した。 計算効率のよい微分プライベート推定器を提案し、その極小極小性をガウス分布に対して証明する。
  論文  参考訳（メタデータ） (2024-01-08T11:18:14Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。