論文の概要: On the Error-Propagation of Inexact Deflation for Principal Component Analysis

• arxiv url: http://arxiv.org/abs/2310.04283v1
• Date: Fri, 6 Oct 2023 14:33:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-09 15:55:19.377803
• Title: On the Error-Propagation of Inexact Deflation for Principal Component Analysis
• Title（参考訳）: 主成分分析における不正確なデフレの誤り伝播について
• Authors: Fangshuo Liao, Junhyung Lyle Kim, Cruz Barnum, Anastasios Kyrillidis
• Abstract要約: 本稿では,不正確なデフレ手法の誤差伝搬を特徴付ける。 エラーがどのように進行し、その後の主成分推定に影響を及ぼすかを明確に評価する。
• 参考スコア（独自算出の注目度）: 9.613011825024476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Principal Component Analysis (PCA) is a popular tool in data analysis, especially when the data is high-dimensional. PCA aims to find subspaces, spanned by the so-called \textit{principal components}, that best explain the variance in the dataset. The deflation method is a popular meta-algorithm -- used to discover such subspaces -- that sequentially finds individual principal components, starting from the most important one and working its way towards the less important ones. However, due to its sequential nature, the numerical error introduced by not estimating principal components exactly -- e.g., due to numerical approximations through this process -- propagates, as deflation proceeds. To the best of our knowledge, this is the first work that mathematically characterizes the error propagation of the inexact deflation method, and this is the key contribution of this paper. We provide two main results: $i)$ when the sub-routine for finding the leading eigenvector is generic, and $ii)$ when power iteration is used as the sub-routine. In the latter case, the additional directional information from power iteration allows us to obtain a tighter error bound than the analysis of the sub-routine agnostic case. As an outcome, we provide explicit characterization on how the error progresses and affects subsequent principal component estimations for this fundamental problem.
• Abstract（参考訳）: 主成分分析(PCA)は、特にデータが高次元である場合、データ分析において一般的なツールである。 pcaは、データセットのばらつきを最もよく説明する、いわゆる \textit{principal components} にまたがる部分空間を見つけることを目指している。 デフレレーション法(デフレレーションほう、英: deflation method)は、ある部分空間を発見するために使われる一般的なメタアルゴリズムであり、最も重要でない部分から、より重要でない部分へ向けて、個別の主成分を順次発見する。しかし、そのシーケンシャルな性質から、デフレレーションが進行するにつれて、例えば、この過程の数値近似によって、主成分を正確に見積もることによって生じる数値誤差が伝播する。 私たちの知る限りでは、これは不正確なデフレ法の誤差伝播を数学的に特徴付ける最初の作品であり、本論文の鍵となる貢献である。 i)$ 主要な固有ベクトルを見つけるためのサブルーチンがジェネリックである場合と、パワーイテレーションがサブルーチンとして使用される場合の$ii)$です。 後者の場合、パワーイテレーションから追加の方向情報を得ることで、サブルーチン非依存ケースの分析よりも厳密なエラーバウンドを得ることができる。 その結果、この根本的な問題に対して、エラーがどのように進行し、その後の主成分推定に影響を及ぼすかを明確に評価する。

関連論文リスト

• $e^{\text{RPCA}}$: Robust Principal Component Analysis for Exponential Family Distributions [11.13032534597243]
  指数族に対するロバスト主成分分析法(etextRPCA$)を提案する。 効率的な$etextRPCA$分解のための乗算器最適化アルゴリズムの新しい交互方向法を提案する。 次に、etextRPCA$の有効性を、鋼板欠陥検出のための第1と、アトランタ大都市圏における犯罪活動監視のための第2の2つのアプリケーションで示す。
  論文  参考訳（メタデータ） (2023-10-30T17:51:30Z)
• Revisiting Rotation Averaging: Uncertainties and Robust Losses [51.64986160468128]
  現在の手法の主な問題は、推定エピポーラを通して入力データと弱い結合しか持たない最小コスト関数である。 本稿では,点対応から回転平均化への不確実性を直接伝播させることにより,基礎となる雑音分布をモデル化することを提案する。
  論文  参考訳（メタデータ） (2023-03-09T11:51:20Z)
• Quasi-parametric rates for Sparse Multivariate Functional Principal Components Analysis [0.0]
  最適化問題の解として固有値が表現可能であることを示す。 固有要素の平均2乗再構成誤差に基づいてミニマックス下限を定め、この手順がミニマックス感覚に最適な分散を有することを証明した。
  論文  参考訳（メタデータ） (2022-12-19T13:17:57Z)
• Signal Decomposition Using Masked Proximal Operators [9.267365602872134]
  本稿では,ベクトル時系列信号を異なる特徴を持つ成分に分解する問題について考察する。 我々は、コンポーネントが損失関数(制約を含む)によって定義される、単純で一般的なフレームワークを提案する。 成分クラス損失関数が凸であるときに最適分解を求める2つの分散手法を与える。
  論文  参考訳（メタデータ） (2022-02-18T18:05:33Z)
• Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning [99.34907092347733]
  本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。 局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。 他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
  論文  参考訳（メタデータ） (2021-06-28T00:38:54Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• A Framework for Private Matrix Analysis [20.407204637672887]
  我々は、スペクトル近似、主成分分析、線形回帰のための空間微分プライベートアルゴリズムを第1の効率$o(W)$で提供する。 また、主成分分析の2つの重要な変種に対して、効率的な微分プライベートアルゴリズムを創出し、示す。
  論文  参考訳（メタデータ） (2020-09-06T08:01:59Z)
• Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
  主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。 スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。 本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T04:25:36Z)
• Revisiting SGD with Increasingly Weighted Averaging: Optimization and Generalization Perspectives [50.12802772165797]
  平均化手法は、全ての反復解を一つの解に結合する。 実験は、他の平均化方式と比較して、トレードオフと平均化の有効性を示した。
  論文  参考訳（メタデータ） (2020-03-09T18:14:00Z)
• Nonlinear Functional Output Regression: a Dictionary Approach [1.8160945635344528]
  本稿では,辞書上に拡張された関数の予測を学習する新しい辞書ベースの手法であるプロジェクション・ラーニング(PL)を紹介する。 PLは機能的損失に基づいて経験的リスクを最小限にする。 PLは特に計算コストとパフォーマンスのトレードオフを享受しています。
  論文  参考訳（メタデータ） (2020-03-03T10:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。