論文の概要: Empirical Bayes Covariance Decomposition, and a solution to the Multiple Tuning Problem in Sparse PCA

• arxiv url: http://arxiv.org/abs/2312.03274v1
• Date: Wed, 6 Dec 2023 04:00:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 16:04:05.447892
• Title: Empirical Bayes Covariance Decomposition, and a solution to the Multiple Tuning Problem in Sparse PCA
• Title（参考訳）: 経験的ベイズ共分散分解とスパースPCAにおける多重チューニング問題の解法
• Authors: Joonsuk Kang, Matthew Stephens
• Abstract要約: スパース主成分分析(PCA)は,PCAの解釈可能性と信頼性を両立させる手法として提案されている。 経験ベイズ法による「複数チューニング問題」の解法を提案する。
• 参考スコア（独自算出の注目度）: 2.5382095320488673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse Principal Components Analysis (PCA) has been proposed as a way to improve both interpretability and reliability of PCA. However, use of sparse PCA in practice is hindered by the difficulty of tuning the multiple hyperparameters that control the sparsity of different PCs (the "multiple tuning problem", MTP). Here we present a solution to the MTP using Empirical Bayes methods. We first introduce a general formulation for penalized PCA of a data matrix $\mathbf{X}$, which includes some existing sparse PCA methods as special cases. We show that this formulation also leads to a penalized decomposition of the covariance (or Gram) matrix, $\mathbf{X}^T\mathbf{X}$. We introduce empirical Bayes versions of these penalized problems, in which the penalties are determined by prior distributions that are estimated from the data by maximum likelihood rather than cross-validation. The resulting "Empirical Bayes Covariance Decomposition" provides a principled and efficient solution to the MTP in sparse PCA, and one that can be immediately extended to incorporate other structural assumptions (e.g. non-negative PCA). We illustrate the effectiveness of this approach on both simulated and real data examples.
• Abstract（参考訳）: スパース主成分分析(PCA)は,PCAの解釈可能性と信頼性を両立させる手法として提案されている。 しかし、実際にはスパースpcaの使用は、異なるpcのスパース性を制御する複数のハイパーパラメータのチューニングの困難さ("multiple tuning problem, mtp")によって妨げられている。 本稿では経験的ベイズ法を用いてmtpの解法を提案する。 まず、データ行列$\mathbf{X}$のペナル化PCAの一般的な定式化を導入する。 この定式化はまた、共分散(あるいはグラマー)行列のペナル化分解($\mathbf{X}^T\mathbf{X}$)をもたらす。 本研究では,これらのペナルティを,クロスバリデーションよりもデータから推定される事前分布によって決定する実験的なベイズ版を導入する。 結果として生じる「経験的ベイズ共分散分解」は、スパースPCAにおけるMPPの原理的かつ効率的な解であり、他の構造的仮定(例えば非負のPCA)を組み込むように即座に拡張できる。 シミュレーションデータと実データの両方において,この手法の有効性を示す。

関連論文リスト

• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Sparse PCA with Oracle Property [115.72363972222622]
  新規な正規化を伴うスパースPCAの半定緩和に基づく推定器群を提案する。 我々は、家族内の別の推定器が、スパースPCAの標準半定緩和よりも、より急激な収束率を達成することを証明した。
  論文  参考訳（メタデータ） (2023-12-28T02:52:54Z)
• ALPCAH: Sample-wise Heteroscedastic PCA with Tail Singular Value Regularization [17.771454131646312]
  主成分分析はデータ次元削減の分野で重要なツールである。 そこで本研究では,サンプル単位の雑音分散を推定できるPCA法を開発した。 これは低ランク成分の分布的な仮定なしで、ノイズの分散が知られていると仮定せずに行われる。
  論文  参考訳（メタデータ） (2023-07-06T03:11:11Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Sparse PCA With Multiple Components [2.5382095320488673]
  スパース主成分分析(SPCA)は、高次元データセットの分散を解釈可能な方法で説明する特徴の組み合わせを得る技術である。 既存のPCA手法の多くは、複数のスパースPCを求めるときの最適性だけでなく、結果の最適性も保証していない。 本稿では,実世界のデータセットに対して,0%-15%の精度で解を得るための厳密な手法と丸め機構を提案する。
  論文  参考訳（メタデータ） (2022-09-29T13:57:18Z)
• A novel approach for Fair Principal Component Analysis based on eigendecomposition [10.203602318836444]
  1次元探索からなる簡単な戦略を用いて,公平性問題に対処する新しいPCAアルゴリズムを提案する。 私たちの発見は、いくつかの現実の状況と、バランスの取れていないデータセットとバランスの取れていないデータセットの両方のシナリオで一致しています。
  論文  参考訳（メタデータ） (2022-08-24T08:20:16Z)
• Sparse PCA on fixed-rank matrices [0.05076419064097732]
  共分散行列のランクが固定値であれば、大域的最適性に対してスパースPCAを解くアルゴリズムが存在することを示す。 また,主成分の非結合性を必要とするスパースPCAについても同様の結果が得られた。
  論文  参考訳（メタデータ） (2022-01-07T15:05:32Z)
• AgFlow: Fast Model Selection of Penalized PCA via Implicit Regularization Effects of Gradient Flow [64.81110234990888]
  主成分分析(PCA)は特徴抽出と次元減少の有効な手法として広く用いられている。 High Dimension Low Sample Size (HDLSS) 設定では、ペナル化ロードを備えた修正主成分が好まれる。 ペナル化PCAの高速モデル選択法として近似勾配流(AgFlow)を提案する。
  論文  参考訳（メタデータ） (2021-10-07T08:57:46Z)
• FAST-PCA: A Fast and Exact Algorithm for Distributed Principal Component Analysis [12.91948651812873]
  主成分分析(PCA)は、機械学習の世界における基本的なデータ前処理ツールである。 本稿では,FAST-PCA (Fast and exact distributed PCA) と呼ばれる分散PCAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-27T16:10:59Z)
• Enhanced Principal Component Analysis under A Collaborative-Robust Framework [89.28334359066258]
  重み学習とロバストな損失を非自明な方法で組み合わせる,一般的な協調ロバスト重み学習フレームワークを提案する。 提案されたフレームワークでは、トレーニング中の重要度を示す適切なサンプルの一部のみがアクティブになり、エラーが大きい他のサンプルは無視されません。 特に、不活性化試料の負の効果はロバスト損失関数によって軽減される。
  論文  参考訳（メタデータ） (2021-03-22T15:17:37Z)
• Stein Variational Model Predictive Control [130.60527864489168]
  不確実性の下での意思決定は、現実の自律システムにとって極めて重要である。 モデル予測制御 (MPC) 法は, 複雑な分布を扱う場合, 適用範囲が限られている。 この枠組みが、挑戦的で非最適な制御問題における計画の成功に繋がることを示す。
  論文  参考訳（メタデータ） (2020-11-15T22:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。