論文の概要: Exact and Approximation Algorithms for Sparse PCA

• arxiv url: http://arxiv.org/abs/2008.12438v1
• Date: Fri, 28 Aug 2020 02:07:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 01:47:21.512213
• Title: Exact and Approximation Algorithms for Sparse PCA
• Title（参考訳）: スパースPCAのためのエクササイズと近似アルゴリズム
• Authors: Yongchun Li and Weijun Xie
• Abstract要約: 本稿では,MISDP(MISDP)とMISDP(MISDP)について述べる。 次に、それらの連続緩和値の理論的最適性ギャップを分析し、それらが最先端の値よりも強いことを証明する。 市販の解法は一般にMISDPを解くのが難しいため,MISDPと同等の大きさのMILP(mixed-integer linear program)を用いてSPCAを任意の精度で近似する。
• 参考スコア（独自算出の注目度）: 1.7640556247739623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse PCA (SPCA) is a fundamental model in machine learning and data analytics, which has witnessed a variety of application areas such as finance, manufacturing, biology, healthcare. To select a prespecified-size principal submatrix from a covariance matrix to maximize its largest eigenvalue for the better interpretability purpose, SPCA advances the conventional PCA with both feature selection and dimensionality reduction. This paper proposes two exact mixed-integer SDPs (MISDPs) by exploiting the spectral decomposition of the covariance matrix and the properties of the largest eigenvalues. We then analyze the theoretical optimality gaps of their continuous relaxation values and prove that they are stronger than that of the state-of-art one. We further show that the continuous relaxations of two MISDPs can be recast as saddle point problems without involving semi-definite cones, and thus can be effectively solved by first-order methods such as the subgradient method. Since off-the-shelf solvers, in general, have difficulty in solving MISDPs, we approximate SPCA with arbitrary accuracy by a mixed-integer linear program (MILP) of a similar size as MISDPs. To be more scalable, we also analyze greedy and local search algorithms, prove their first-known approximation ratios, and show that the approximation ratios are tight. Our numerical study demonstrates that the continuous relaxation values of the proposed MISDPs are quite close to optimality, the proposed MILP model can solve small and medium-size instances to optimality, and the approximation algorithms work very well for all the instances. Finally, we extend the analyses to Rank-one Sparse SVD (R1-SSVD) with non-symmetric matrices and Sparse Fair PCA (SFPCA) when there are multiple covariance matrices, each corresponding to a protected group.
• Abstract（参考訳）: Sparse PCA(SPCA)は、機械学習とデータ分析の基本的なモデルであり、金融、製造、生物学、医療など、さまざまな応用分野を目撃してきた。 共分散行列から予め定められたサイズの主部分行列を選択してその最大固有値を最大化するために、spcaは特徴選択と次元縮小の両方で従来のpcaを前進させる。 本稿では,共分散行列のスペクトル分解と最大固有値の性質を利用して,2つの正確な混合整数SDP(MISDP)を提案する。 次に、連続緩和値の理論的最適性ギャップを分析し、それらが最先端値よりも強いことを証明した。 さらに,2つのMISDPの連続緩和を半定円錐を含まないサドル点問題として再キャストできることを示し,従次法のような一階法で効果的に解けることを示した。 市販の解法は一般にMISDPを解くのが難しいため,MISDPと同等の大きさのMILP(mixed-integer linear program)を用いてSPCAを任意の精度で近似する。 よりスケーラブルにするために、グリードと局所探索アルゴリズムを分析し、最初の近似比を証明し、近似比が厳密であることを示す。 数値解析により,提案したMISDPの連続緩和値は極めて最適に近づき,提案したMILPモデルは小・中規模のインスタンスを最適に解くことができ,近似アルゴリズムは全インスタンスに対して非常によく動作することを示した。 最後に,複数の共分散行列が存在する場合,非対称行列を用いたランクワンスパースSVD (R1-SSVD) と,保護群に対応するスパースフェアPCA (SFPCA) に解析を拡張した。

関連論文リスト

• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
  本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。 本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
  論文  参考訳（メタデータ） (2024-02-14T16:10:42Z)
• Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice [79.48432795639403]
  ミラー降下値反復(MDVI)は、KL(Kulback-Leibler)とRL(Entropy-regularized reinforcement learning)の抽象化である。 MDVIを線形関数近似を用いて研究し,$varepsilon$-optimal policyを同定するために必要なサンプル複雑性について検討した。 我々は,無限水平線形MDPに対して,最小限のサンプル複雑性を実現する最初の理論的アルゴリズムである分散重み付き最小二乗法MDVIを提案する。
  論文  参考訳（メタデータ） (2023-05-22T16:13:05Z)
• Support Recovery in Sparse PCA with Non-Random Missing Data [27.3669650952144]
  非ランダムサンプリング方式の下で,不完全かつノイズの多いデータに基づいてスパースPCAの実用的なアルゴリズムを解析する。 理論的には、ある条件下では、スパースリード固有ベクトルの支持を高い確率で回復することができる。 提案アルゴリズムは, 観察された成分が良好な構造特性を持つ場合, その他のスパースPCA手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-03T04:20:25Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Jointly Modeling and Clustering Tensors in High Dimensions [6.072664839782975]
  テンソルの合同ベンチマークとクラスタリングの問題を考察する。 本稿では,統計的精度の高い近傍に幾何的に収束する効率的な高速最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-15T21:06:16Z)
• Simple and Near-Optimal MAP Inference for Nonsymmetric DPPs [3.3504365823045044]
  非対称なカーネル行列によって定義される決定点過程に対する最大後続推定(MAP)問題について検討する。 局所探索を用いてこの問題に対する最初の乗法近似保証を得る。 近似係数が$kO(k)$ に近いので、理論上、実験的に、この問題に対する最先端の手法と好適に比較できることが示される。
  論文  参考訳（メタデータ） (2021-02-10T09:34:44Z)
• Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
  主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。 スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。 本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T04:25:36Z)
• A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
  我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。 本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。 高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-23T01:34:18Z)
• Best Principal Submatrix Selection for the Maximum Entropy Sampling Problem: Scalable Algorithms and Performance Guarantees [1.7640556247739623]
  MESPは医療、電力システム、製造業、データサイエンスなど、多くの分野に広く応用されている。 我々はMESPのための新しい凸整数プログラムを導出し、その連続緩和がほぼ最適解をもたらすことを示す。 数値実験により,これらの近似アルゴリズムは,中規模および大規模のインスタンスをほぼ最適に効率的に解けることを示した。
  論文  参考訳（メタデータ） (2020-01-23T14:14:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。