論文の概要: On the Error-Propagation of Inexact Deflation for Principal Component
Analysis
- arxiv url: http://arxiv.org/abs/2310.04283v1
- Date: Fri, 6 Oct 2023 14:33:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-09 15:55:19.377803
- Title: On the Error-Propagation of Inexact Deflation for Principal Component
Analysis
- Title(参考訳): 主成分分析における不正確なデフレの誤り伝播について
- Authors: Fangshuo Liao, Junhyung Lyle Kim, Cruz Barnum, Anastasios Kyrillidis
- Abstract要約: 本稿では,不正確なデフレ手法の誤差伝搬を特徴付ける。
エラーがどのように進行し、その後の主成分推定に影響を及ぼすかを明確に評価する。
- 参考スコア(独自算出の注目度): 9.613011825024476
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Principal Component Analysis (PCA) is a popular tool in data analysis,
especially when the data is high-dimensional. PCA aims to find subspaces,
spanned by the so-called \textit{principal components}, that best explain the
variance in the dataset. The deflation method is a popular meta-algorithm --
used to discover such subspaces -- that sequentially finds individual principal
components, starting from the most important one and working its way towards
the less important ones. However, due to its sequential nature, the numerical
error introduced by not estimating principal components exactly -- e.g., due to
numerical approximations through this process -- propagates, as deflation
proceeds. To the best of our knowledge, this is the first work that
mathematically characterizes the error propagation of the inexact deflation
method, and this is the key contribution of this paper. We provide two main
results: $i)$ when the sub-routine for finding the leading eigenvector is
generic, and $ii)$ when power iteration is used as the sub-routine. In the
latter case, the additional directional information from power iteration allows
us to obtain a tighter error bound than the analysis of the sub-routine
agnostic case. As an outcome, we provide explicit characterization on how the
error progresses and affects subsequent principal component estimations for
this fundamental problem.
- Abstract(参考訳): 主成分分析(PCA)は、特にデータが高次元である場合、データ分析において一般的なツールである。
pcaは、データセットのばらつきを最もよく説明する、いわゆる \textit{principal components} にまたがる部分空間を見つけることを目指している。
デフレレーション法(デフレレーションほう、英: deflation method)は、ある部分空間を発見するために使われる一般的なメタアルゴリズムであり、最も重要でない部分から、より重要でない部分へ向けて、個別の主成分を順次発見する。しかし、そのシーケンシャルな性質から、デフレレーションが進行するにつれて、例えば、この過程の数値近似によって、主成分を正確に見積もることによって生じる数値誤差が伝播する。
私たちの知る限りでは、これは不正確なデフレ法の誤差伝播を数学的に特徴付ける最初の作品であり、本論文の鍵となる貢献である。
i)$ 主要な固有ベクトルを見つけるためのサブルーチンがジェネリックである場合と、パワーイテレーションがサブルーチンとして使用される場合の$ii)$です。
後者の場合、パワーイテレーションから追加の方向情報を得ることで、サブルーチン非依存ケースの分析よりも厳密なエラーバウンドを得ることができる。
その結果、この根本的な問題に対して、エラーがどのように進行し、その後の主成分推定に影響を及ぼすかを明確に評価する。
関連論文リスト
- Learning-Augmented K-Means Clustering Using Dimensional Reduction [1.7243216387069678]
主成分分析(PCA)を用いたデータセットの次元性低減手法を提案する。
PCAは文献でよく確立されており、データモデリング、圧縮、可視化の最も有用なツールの1つになっている。
論文 参考訳(メタデータ) (2024-01-06T12:02:33Z) - $e^{\text{RPCA}}$: Robust Principal Component Analysis for Exponential
Family Distributions [11.13032534597243]
指数族に対するロバスト主成分分析法(etextRPCA$)を提案する。
効率的な$etextRPCA$分解のための乗算器最適化アルゴリズムの新しい交互方向法を提案する。
次に、etextRPCA$の有効性を、鋼板欠陥検出のための第1と、アトランタ大都市圏における犯罪活動監視のための第2の2つのアプリケーションで示す。
論文 参考訳(メタデータ) (2023-10-30T17:51:30Z) - On the use of the Gram matrix for multivariate functional principal
components analysis [0.0]
機能的データ分析(FDA)における次元減少の重要性
関数主成分分析の既存のアプローチは、通常共分散作用素の対角化を伴う。
本稿では,曲線間の内部積を用いて多変量および多次元関数的データセットの固有値を推定する。
論文 参考訳(メタデータ) (2023-06-22T15:09:41Z) - Quasi-parametric rates for Sparse Multivariate Functional Principal
Components Analysis [0.0]
最適化問題の解として固有値が表現可能であることを示す。
固有要素の平均2乗再構成誤差に基づいてミニマックス下限を定め、この手順がミニマックス感覚に最適な分散を有することを証明した。
論文 参考訳(メタデータ) (2022-12-19T13:17:57Z) - Eigen Analysis of Self-Attention and its Reconstruction from Partial
Computation [58.80806716024701]
ドット積に基づく自己注意を用いて計算した注意点のグローバルな構造について検討する。
注意点の変動の大部分は低次元固有空間にあることがわかった。
トークンペアの部分的な部分集合に対してのみスコアを計算し、それを用いて残りのペアのスコアを推定する。
論文 参考訳(メタデータ) (2021-06-16T14:38:42Z) - Minimax Estimation of Linear Functions of Eigenvectors in the Face of
Small Eigen-Gaps [95.62172085878132]
固有ベクトル摂動解析は様々な統計データ科学の応用において重要な役割を果たす。
未知の固有ベクトルの任意の線型関数の摂動を特徴付ける統計理論の一組を開発する。
自然の「プラグイン」推定器に固有の非無視バイアス問題を緩和するために,非バイアス推定器を開発する。
論文 参考訳(メタデータ) (2021-04-07T17:55:10Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳(メタデータ) (2020-12-29T04:08:38Z) - A Framework for Private Matrix Analysis [20.407204637672887]
我々は、スペクトル近似、主成分分析、線形回帰のための空間微分プライベートアルゴリズムを第1の効率$o(W)$で提供する。
また、主成分分析の2つの重要な変種に対して、効率的な微分プライベートアルゴリズムを創出し、示す。
論文 参考訳(メタデータ) (2020-09-06T08:01:59Z) - Learning Output Embeddings in Structured Prediction [73.99064151691597]
構造化予測に対する強力で柔軟なアプローチは、予測される構造化対象を潜在的に無限次元の特徴空間に埋め込むことである。
原空間における予測は、前像問題の解法により計算される。
本研究では,新しい特徴空間に出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
論文 参考訳(メタデータ) (2020-07-29T09:32:53Z) - Revisiting SGD with Increasingly Weighted Averaging: Optimization and
Generalization Perspectives [50.12802772165797]
平均化手法は、全ての反復解を一つの解に結合する。
実験は、他の平均化方式と比較して、トレードオフと平均化の有効性を示した。
論文 参考訳(メタデータ) (2020-03-09T18:14:00Z) - Improved guarantees and a multiple-descent curve for Column Subset
Selection and the Nystr\"om method [76.73096213472897]
我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。
我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。
RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
論文 参考訳(メタデータ) (2020-02-21T00:43:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。