論文の概要: Optimal vintage factor analysis with deflation varimax

• arxiv url: http://arxiv.org/abs/2310.10545v1
• Date: Mon, 16 Oct 2023 16:14:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 12:57:39.438531
• Title: Optimal vintage factor analysis with deflation varimax
• Title（参考訳）: deflation varimaxを用いた最適ビンテージ因子分析
• Authors: Xin Bing, Dian Jin and Yuqian Zhang
• Abstract要約: Vintage Factor分析は、最初に元のデータの低次元表現を見つけ、次に回転した低次元表現が科学的に意味のあるものを探すことを目的としている。 おそらく最も広く使われているヴィンテージ因子分析は、主成分分析(PCA)であり、次にヴァリマックス表現である。 本稿では,各行行列を逐次的に解くデフレ最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 18.50195604586597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vintage factor analysis is one important type of factor analysis that aims to first find a low-dimensional representation of the original data, and then to seek a rotation such that the rotated low-dimensional representation is scientifically meaningful. Perhaps the most widely used vintage factor analysis is the Principal Component Analysis (PCA) followed by the varimax rotation. Despite its popularity, little theoretical guarantee can be provided mainly because varimax rotation requires to solve a non-convex optimization over the set of orthogonal matrices. In this paper, we propose a deflation varimax procedure that solves each row of an orthogonal matrix sequentially. In addition to its net computational gain and flexibility, we are able to fully establish theoretical guarantees for the proposed procedure in a broad context. Adopting this new varimax approach as the second step after PCA, we further analyze this two step procedure under a general class of factor models. Our results show that it estimates the factor loading matrix in the optimal rate when the signal-to-noise-ratio (SNR) is moderate or large. In the low SNR regime, we offer possible improvement over using PCA and the deflation procedure when the additive noise under the factor model is structured. The modified procedure is shown to be optimal in all SNR regimes. Our theory is valid for finite sample and allows the number of the latent factors to grow with the sample size as well as the ambient dimension to grow with, or even exceed, the sample size. Extensive simulation and real data analysis further corroborate our theoretical findings.
• Abstract（参考訳）: 視覚因子分析は、まず原データの低次元表現を見つけ、次に回転した低次元表現が科学的に意味のある回転を求めることを目的とした重要な因子分析の1つである。 おそらく最も広く使われているヴィンテージ因子分析は、主成分分析(PCA)であり、次にバリマックス回転が続く。 その人気にもかかわらず、主にヴァリマックス回転は直交行列の集合上の非凸最適化を解く必要があるため、理論上の保証はほとんど得られない。 本稿では,直交行列の各行を逐次的に解くデフレ化バリマックス手順を提案する。 計算能力の純向上と柔軟性に加えて,提案手法に対する理論的保証を広い文脈で完全に確立することができる。 PCA の後の第2段階としてこの新しい varimax アプローチを採用することで,この2段階の手順を因子モデルの一般クラスで解析する。 その結果,信号対雑音比 (SNR) が中等度あるいは大きい場合, 最適速度で因子負荷行列を推定できることが示唆された。 低SNR方式では,因子モデルに基づく付加雑音が構成された場合,PCAとデフレ処理による改善が可能となる。 修正された手順は、すべてのSNRレギュレーションで最適であることが示されている。 本理論は, 有限標本について有効であり, 潜在因子の数を試料サイズとともに増加させるとともに, 試料サイズを増加または超過させる。 大規模なシミュレーションと実データ分析は、我々の理論的な結果をさらに裏付ける。

関連論文リスト

• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice [79.48432795639403]
  ミラー降下値反復(MDVI)は、KL(Kulback-Leibler)とRL(Entropy-regularized reinforcement learning)の抽象化である。 MDVIを線形関数近似を用いて研究し,$varepsilon$-optimal policyを同定するために必要なサンプル複雑性について検討した。 我々は,無限水平線形MDPに対して,最小限のサンプル複雑性を実現する最初の理論的アルゴリズムである分散重み付き最小二乗法MDVIを提案する。
  論文  参考訳（メタデータ） (2023-05-22T16:13:05Z)
• Optimal Discriminant Analysis in High-Dimensional Latent Factor Models [1.4213973379473654]
  高次元分類問題において、一般的に用いられるアプローチは、まず高次元の特徴を低次元空間に射影することである。 我々は、この2段階の手順を正当化するために、隠れた低次元構造を持つ潜在変数モデルを定式化する。 観測された特徴の特定の主成分(PC)を射影とする計算効率の良い分類器を提案する。
  論文  参考訳（メタデータ） (2022-10-23T21:45:53Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Generative Principal Component Analysis [47.03792476688768]
  生成的モデリング仮定を用いた主成分分析の問題点を考察する。 鍵となる仮定は、基礎となる信号は、$k$次元の入力を持つ$L$-Lipschitz連続生成モデルの範囲に近いことである。 本稿では,2次推定器を提案し,検体数として$m$の次数$sqrtfracklog Lm$の統計率を示す。
  論文  参考訳（メタデータ） (2022-03-18T01:48:16Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• Exact and Approximation Algorithms for Sparse PCA [1.7640556247739623]
  本稿では,MISDP(MISDP)とMISDP(MISDP)について述べる。 次に、それらの連続緩和値の理論的最適性ギャップを分析し、それらが最先端の値よりも強いことを証明する。 市販の解法は一般にMISDPを解くのが難しいため,MISDPと同等の大きさのMILP(mixed-integer linear program)を用いてSPCAを任意の精度で近似する。
  論文  参考訳（メタデータ） (2020-08-28T02:07:08Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。