論文の概要: On Minimum Trace Factor Analysis -- An Old Song Sung to a New Tune
- arxiv url: http://arxiv.org/abs/2402.02459v1
- Date: Sun, 4 Feb 2024 12:15:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 19:39:30.840387
- Title: On Minimum Trace Factor Analysis -- An Old Song Sung to a New Tune
- Title（参考訳）: 最小トレース要因分析について -新音節への古歌-
- Authors: C. Li, A. Shkolnik
- Abstract要約: 本稿では,1940年のリーダーマンの研究にさかのぼる根を持つ凸最適化法であるMTFA(Minimum Trace Factor Analysis)の緩和版を紹介する。
提案手法は,結果の低階部分空間の精度と,その行列を計算するアルゴリズムの収束率に関する理論的保証を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dimensionality reduction methods, such as principal component analysis (PCA)
and factor analysis, are central to many problems in data science. There are,
however, serious and well-understood challenges to finding robust low
dimensional approximations for data with significant heteroskedastic noise.
This paper introduces a relaxed version of Minimum Trace Factor Analysis
(MTFA), a convex optimization method with roots dating back to the work of
Ledermann in 1940. This relaxation is particularly effective at not overfitting
to heteroskedastic perturbations and addresses the commonly cited Heywood cases
in factor analysis and the recently identified "curse of ill-conditioning" for
existing spectral methods. We provide theoretical guarantees on the accuracy of
the resulting low rank subspace and the convergence rate of the proposed
algorithm to compute that matrix. We develop a number of interesting
connections to existing methods, including HeteroPCA, Lasso, and Soft-Impute,
to fill an important gap in the already large literature on low rank matrix
estimation. Numerical experiments benchmark our results against several recent
proposals for dealing with heteroskedastic noise.
- Abstract（参考訳）: 主成分分析(PCA)や因子分析などの次元化手法は、データ科学における多くの問題の中心となっている。
しかし、大きなヘテロスケダティックノイズを持つデータに対して頑健な低次元近似を求める上で、真面目でよく理解された課題がある。
本稿では,1940年のリーダーマンの研究にさかのぼる根を持つ凸最適化法であるMTFA(Minimum Trace Factor Analysis)の緩和版を紹介する。
この緩和は、ヘテロスケダス性摂動に過度に適合しないのに特に効果的であり、ファクター解析においてよく引用されるヘイウッドのケースと、既存のスペクトル法に対する最近同定された「条件の帰結」に対処する。
提案手法は,結果の低階部分空間の精度と,その行列を計算するアルゴリズムの収束率に関する理論的保証を提供する。
我々は,HeteroPCA,Lasso,Soft-Imputeなど,既存の手法と多くの興味深い関係を築き,すでに大きな文献の低階行列推定における重要なギャップを埋める。
数値実験の結果は, ヘテロスパイク性雑音に対する最近の提案に比較して評価された。
関連論文リスト
- Mixed Matrix Completion in Complex Survey Sampling under Heterogeneous
Missingness [6.278498348219109]
サブ線形収束を実現する高速でスケーラブルな推定アルゴリズムを提案する。
本手法は,全国保健栄養検査調査データの分析に応用される。
論文 参考訳（メタデータ） (2024-02-06T12:26:58Z) - Structured Matrix Learning under Arbitrary Entrywise Dependence and
Estimation of Markov Transition Kernel [4.360281374698232]
本稿では、ノイズの多い低ランク+スパース行列回復の一般的な枠組みについて考察する。
本稿では,不整合制約最小二乗推定器を提案し,その厳密性を決定論的下界とミニマックスリスクの整合性の両方で証明する。
次に、我々のフレームワークのいくつかの重要な統計機械学習問題への適用について紹介する。
論文 参考訳（メタデータ） (2024-01-04T20:13:23Z) - Best Arm Identification with Fixed Budget: A Large Deviation Perspective [54.305323903582845]
我々は、様々な武器の報酬間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。
特に、様々な武器の報酬の間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。
論文 参考訳（メタデータ） (2023-12-19T13:17:43Z) - On the Estimation Performance of Generalized Power Method for
Heteroscedastic Probabilistic PCA [21.9585534723895]
我々は,少なくとも幾何的にあるしきい値に束縛されたGPM間の適切な繰り返しを仮定すると,GPMは,ある「相対分解」の残余部分であるしきい値に減少することを示す。
そこで本研究では,PCA手法を用いて,ガウス以下の雑音設定による優れた性能を示す。
論文 参考訳（メタデータ） (2023-12-06T11:41:17Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳（メタデータ） (2023-11-04T11:12:24Z) - High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise [96.80184504268593]
グラデーション、クリッピングは、優れた高確率保証を導き出すアルゴリズムの鍵となる要素の1つである。
クリッピングは、合成および分散最適化の一般的な方法の収束を損なう可能性がある。
論文 参考訳（メタデータ） (2023-10-03T07:49:17Z) - Gaining Outlier Resistance with Progressive Quantiles: Fast Algorithms
and Theoretical Studies [1.6457778420360534]
任意の損失関数を強固化するために, 外部抵抗推定の枠組みを導入する。
通常のデータセットでは、データ再見積の回数を大幅に削減できるような、開始点の要件を緩和する新しい手法が提案されている。
得られた推定器は、必ずしも大域的でも大域的でもなくても、両方の低次元において最適性を楽しむことができる。
論文 参考訳（メタデータ） (2021-12-15T20:35:21Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳（メタデータ） (2020-05-22T22:30:52Z) - Compressing Large Sample Data for Discriminant Analysis [78.12073412066698]
判別分析フレームワーク内での大きなサンプルサイズに起因する計算問題を考察する。
線形および二次判別分析のためのトレーニングサンプル数を削減するための新しい圧縮手法を提案する。
論文 参考訳（メタデータ） (2020-05-08T05:09:08Z) - Second-Order Guarantees in Centralized, Federated and Decentralized
Nonconvex Optimization [64.26238893241322]
単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。
いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。
これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
論文 参考訳（メタデータ） (2020-03-31T16:54:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。