論文の概要: Theoretical Guarantees for Sparse Principal Component Analysis based on the Elastic Net

• arxiv url: http://arxiv.org/abs/2212.14194v1
• Date: Thu, 29 Dec 2022 06:43:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 17:33:52.373861
• Title: Theoretical Guarantees for Sparse Principal Component Analysis based on the Elastic Net
• Title（参考訳）: 弾性ネットに基づくスパース主成分分析の理論的保証
• Authors: Teng Zhang, Haoyi Yang and Lingzhou Xue
• Abstract要約: まず,Zou, Hastie & Tibshirani (2006)のSPCAアルゴリズムを再検討し,その実装について述べる。 それらの推定誤差境界は、既存の作品の最良の限界と一致しているか、あるいはいくつかの対数的要因までのミニマックスレートを示す。
• 参考スコア（独自算出の注目度）: 8.413356290199602
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse principal component analysis (SPCA) has been widely used for dimensionality reduction and feature extraction in high-dimensional data analysis. Despite there are many methodological and theoretical developments in the past two decades, the theoretical guarantees of the popular SPCA algorithm proposed by Zou, Hastie & Tibshirani (2006) based on the elastic net are still unknown. We aim to close this important theoretical gap in this paper. We first revisit the SPCA algorithm of Zou et al. (2006) and present our implementation. Also, we study a computationally more efficient variant of the SPCA algorithm in Zou et al. (2006) that can be considered as the limiting case of SPCA. We provide the guarantees of convergence to a stationary point for both algorithms. We prove that, under a sparse spiked covariance model, both algorithms can recover the principal subspace consistently under mild regularity conditions. We show that their estimation error bounds match the best available bounds of existing works or the minimax rates up to some logarithmic factors. Moreover, we demonstrate the numerical performance of both algorithms in simulation studies.
• Abstract（参考訳）: スパース主成分分析(SPCA)は高次元データ解析における次元減少と特徴抽出に広く用いられている。 過去20年間に多くの方法論的・理論的発展があったが、Zau, Hastie & Tibshirani (2006)によって提案された人気のあるSPCAアルゴリズムの理論的保証は未だに不明である。 本稿では,この重要な理論上のギャップを解消する。 まず,Zau et al. (2006)のSPCAアルゴリズムを再検討し,実装について述べる。 また、Zou et al. (2006) において、SPCAアルゴリズムの計算上より効率的な変種について検討し、SPCAの極限ケースとみなすことができる。 両アルゴリズムの定常点への収束の保証を提供する。 スパーススパイク共分散モデルの下では、両アルゴリズムが穏やかな規則性条件下で主部分空間を安定に復元できることを示す。 これらの推定誤差境界は, 既存の作業の最適範囲や, 対数係数までのミニマックス率と一致することを示す。 さらに,シミュレーション研究において,両アルゴリズムの数値性能を示す。

関連論文リスト

• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• A Novel Framework for Improving the Breakdown Point of Robust Regression Algorithms [1.9594639581421422]
  本稿では,頑健な回帰アルゴリズムの分解点を改善するための効果的なフレームワークを提案する。 反復局所探索(CORALS)を用いた一貫した頑健な回帰アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-05-20T15:59:33Z)
• Regret Bounds for Expected Improvement Algorithms in Gaussian Process Bandit Optimization [63.8557841188626]
  期待されている改善(EI)アルゴリズムは、不確実性の下で最適化するための最も一般的な戦略の1つである。 本稿では,GP予測平均を通した標準既存値を持つEIの変種を提案する。 我々のアルゴリズムは収束し、$mathcal O(gamma_TsqrtT)$の累積後悔境界を達成することを示す。
  論文  参考訳（メタデータ） (2022-03-15T13:17:53Z)
• Instance-Dependent Confidence and Early Stopping for Reinforcement Learning [99.57168572237421]
  強化学習(RL)のための様々なアルゴリズムは、その収束率の劇的な変動を問題構造の関数として示している。 この研究は、観察されたパフォーマンスの違いについて、textitexを説明する保証を提供する。 次の自然なステップは、これらの理論的保証を実際に有用なガイドラインに変換することです。
  論文  参考訳（メタデータ） (2022-01-21T04:25:35Z)
• Theoretical Guarantees of Fictitious Discount Algorithms for Episodic Reinforcement Learning and Global Convergence of Policy Gradient Methods [6.7546872379126155]
  一般的なアプローチは、架空の割引係数を導入し、近似に定常ポリシーを使用することである。 本稿では,これらのアルゴリズムを解析する第一歩を踏み出す。 どちらのアルゴリズムにも非漸近収束保証が確立されている。
  論文  参考訳（メタデータ） (2021-09-13T23:36:38Z)
• Spike and slab Bayesian sparse principal component analysis [0.6599344783327054]
  本稿では,パラメータ拡張座標の漸近変動推論(PX-CAVI)アルゴリズムを提案する。 PX-CAVIアルゴリズムは2つのSPCA手法より優れていることを示す。 このアルゴリズムは肺がん遺伝子発現データセットの研究に応用される。
  論文  参考訳（メタデータ） (2021-01-30T20:28:30Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Statistical Query Algorithms and Low-Degree Tests Are Almost Equivalent [29.684442397855197]
  我々は,高次元仮説テストの文脈において,最も普及している2つの制限された計算モデル,統計クエリフレームワークと低次コローラについて検討した。 テスト問題に関する穏やかな条件下では、2種類のアルゴリズムは本質的にはパワーで等価である。 提案手法では, スパースPCA, テンソルPCA, および植木クリッド問題のいくつかの変種に対して, 新たな統計的クエリローバウンドを求める。
  論文  参考訳（メタデータ） (2020-09-13T22:55:18Z)
• Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
  主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。 スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。 本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T04:25:36Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。