論文の概要: Fast Sparse PCA via Positive Semidefinite Projection for Unsupervised Feature Selection

• arxiv url: http://arxiv.org/abs/2309.06202v1
• Date: Tue, 12 Sep 2023 13:10:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 12:49:49.443756
• Title: Fast Sparse PCA via Positive Semidefinite Projection for Unsupervised Feature Selection
• Title（参考訳）: 教師なし特徴選択のための正半定値投影による高速スパースPCA
• Authors: Junjing Zheng, Xinyu Zhang, Yongxiang Liu, Weidong Jiang, Kai Huo, Li Liu
• Abstract要約: 凸SPCAの解が正半定円錐(PSD)に落ちることが証明されている。 提案した問題を解くために,2段階の高速射影を提案する。
• 参考スコア（独自算出の注目度）: 17.631455813775705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of unsupervised feature selection, sparse principal component analysis (SPCA) methods have attracted more and more attention recently. Compared to spectral-based methods, SPCA methods don't rely on the construction of a similarity matrix and show better feature selection ability on real-world data. The original SPCA formulates a nonconvex optimization problem. Existing convex SPCA methods reformulate SPCA as a convex model by regarding the reconstruction matrix as an optimization variable. However, they are lack of constraints equivalent to the orthogonality restriction in SPCA, leading to larger solution space. In this paper, it's proved that the optimal solution to a convex SPCA model falls onto the Positive Semidefinite (PSD) cone. A standard convex SPCA-based model with PSD constraint for unsupervised feature selection is proposed. Further, a two-step fast optimization algorithm via PSD projection is presented to solve the proposed model. Two other existing convex SPCA-based models are also proven to have their solutions optimized on the PSD cone in this paper. Therefore, the PSD versions of these two models are proposed to accelerate their convergence as well. We also provide a regularization parameter setting strategy for our proposed method. Experiments on synthetic and real-world datasets demonstrate the effectiveness and efficiency of the proposed methods.
• Abstract（参考訳）: 教師なし特徴選択の分野では、スパース主成分分析(SPCA)手法が近年ますます注目を集めている。 スペクトルベースの手法と比較して、SPCA法は類似度行列の構築に頼らず、実世界のデータにより良い特徴選択能力を示す。 元のSPCAは非凸最適化問題を定式化している。 既存の凸SPCA法は, 再構成行列を最適化変数として, SPCAを凸モデルとして再構成する。 しかし、それらはSPCAの直交制限に相当する制約の欠如であり、より大きな解空間をもたらす。 本稿では, 凸SPCAモデルに対する最適解が正準有限円錐(PSD)に落ちることを証明した。 教師なし特徴選択のためのPSD制約付き標準凸SPCAモデルを提案する。 さらに,PSDプロジェクションを用いた2段階の高速最適化アルゴリズムを提案する。 2つの既存の凸SPCAモデルもPSDコーンに最適化されていることが証明されている。 したがって、これらの2モデルのPSD版も収束を加速するために提案されている。 また,提案手法に対する正規化パラメータ設定戦略を提案する。 合成および実世界のデータセット実験は,提案手法の有効性と有効性を示す。

関連論文リスト

• Sparse Tensor PCA via Tensor Decomposition for Unsupervised Feature Selection [8.391109286933856]
  パラメータ行列の投影方向を利用して教師なし特徴選択を行う2つのスパース主成分分析(STPCA)モデルを開発した。 両方のモデルに対して、各サブプロブレムの最適解がエルミート正正半定円錐(HPSD)に落ちることを証明する。 実験結果によると,提案手法は異なるデータテンソルシナリオの処理に適しており,最先端のUFS手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-07-24T04:04:56Z)
• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Constrained Bayesian Optimization Under Partial Observations: Balanced Improvements and Provable Convergence [6.461785985849886]
  我々は、制約付きベイズ最適化の枠組みの下で、高価なPOCOPの効率的かつ証明可能な手法を設計する。 本稿では,最適化時の平衡探索を取り入れた取得関数の設計を改良した。 部分的に観測可能な制約に対する代理モデルとして異なる確率を埋め込んだガウス過程を提案する。
  論文  参考訳（メタデータ） (2023-12-06T01:00:07Z)
• Provably Efficient UCB-type Algorithms For Learning Predictive State Representations [55.00359893021461]
  逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である 本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。 PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
  論文  参考訳（メタデータ） (2023-07-01T18:35:21Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• A Provably Efficient Model-Free Posterior Sampling Method for Episodic Reinforcement Learning [50.910152564914405]
  強化学習のための既存の後方サンプリング手法は、モデルベースであるか、線形MDPを超える最悪の理論的保証がないかによって制限される。 本稿では,理論的保証を伴うより一般的な補足的強化学習問題に適用可能な,後部サンプリングのモデルフリーな新しい定式化を提案する。
  論文  参考訳（メタデータ） (2022-08-23T12:21:01Z)
• Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model Classes and Cone Decompositions [41.337814204665364]
  ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化アルゴリズムを開発した。 凸ゲート型ReLUモデルでは,ReLUトレーニング問題に対するデータ依存の近似バウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:50:53Z)
• Spike and slab Bayesian sparse principal component analysis [0.6599344783327054]
  本稿では,パラメータ拡張座標の漸近変動推論(PX-CAVI)アルゴリズムを提案する。 PX-CAVIアルゴリズムは2つのSPCA手法より優れていることを示す。 このアルゴリズムは肺がん遺伝子発現データセットの研究に応用される。
  論文  参考訳（メタデータ） (2021-01-30T20:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。