論文の概要: On the Estimation Performance of Generalized Power Method for Heteroscedastic Probabilistic PCA

• arxiv url: http://arxiv.org/abs/2312.03438v1
• Date: Wed, 6 Dec 2023 11:41:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 15:09:50.906074
• Title: On the Estimation Performance of Generalized Power Method for Heteroscedastic Probabilistic PCA
• Title（参考訳）: ヘテロシedastic probabilistic pcaにおける一般化パワー法の推定性能について
• Authors: Jinxin Wang, Chonghe Jiang, Huikang Liu, Anthony Man-Cho So
• Abstract要約: 我々は,少なくとも幾何的にあるしきい値に束縛されたGPM間の適切な繰り返しを仮定すると,GPMは,ある「相対分解」の残余部分であるしきい値に減少することを示す。 そこで本研究では,PCA手法を用いて,ガウス以下の雑音設定による優れた性能を示す。
• 参考スコア（独自算出の注目度）: 21.9585534723895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The heteroscedastic probabilistic principal component analysis (PCA) technique, a variant of the classic PCA that considers data heterogeneity, is receiving more and more attention in the data science and signal processing communities. In this paper, to estimate the underlying low-dimensional linear subspace (simply called \emph{ground truth}) from available heterogeneous data samples, we consider the associated non-convex maximum-likelihood estimation problem, which involves maximizing a sum of heterogeneous quadratic forms over an orthogonality constraint (HQPOC). We propose a first-order method -- generalized power method (GPM) -- to tackle the problem and establish its \emph{estimation performance} guarantee. Specifically, we show that, given a suitable initialization, the distances between the iterates generated by GPM and the ground truth decrease at least geometrically to some threshold associated with the residual part of certain "population-residual decomposition". In establishing the estimation performance result, we prove a novel local error bound property of another closely related optimization problem, namely quadratic optimization with orthogonality constraint (QPOC), which is new and can be of independent interest. Numerical experiments are conducted to demonstrate the superior performance of GPM in both Gaussian noise and sub-Gaussian noise settings.
• Abstract（参考訳）: ヘテロシedastic probabilistic principal component analysis (pca) 手法は、データの不均一性を考慮した古典的なpcaの変種であり、データサイエンスや信号処理コミュニティにおいてますます注目を集めている。 本稿では、利用可能な不均一データサンプルから基礎となる低次元線型部分空間(単に \emph{ground truth} と呼ばれる)を推定するために、直交制約(HQPOC)上での不均一な二次形式の和を最大化する非凸最大様推定問題を考える。 本稿では,この問題に対処し,その「推定性能」を保証する一階法である一般化電力法(GPM)を提案する。 具体的には, 適切な初期化が与えられると, gpm が生成するイテレートと基底真理との間の距離は, ある種の「個体群分解」の残余部分に関連するしきい値に少なくとも幾何的に減少することを示す。 推定性能の確立にあたり,直交制約付き二次最適化 (qpoc) という,他の密接に関連する最適化問題の新たな局所誤差境界特性を証明した。 ガウス雑音とサブガウス雑音の両方において, gpmの優れた性能を示す数値実験を行った。

関連論文リスト

• On Minimum Trace Factor Analysis -- An Old Song Sung to a New Tune [0.0]
  本稿では,1940年のリーダーマンの研究にさかのぼる根を持つ凸最適化法であるMTFA(Minimum Trace Factor Analysis)の緩和版を紹介する。 提案手法は,結果の低階部分空間の精度と,その行列を計算するアルゴリズムの収束率に関する理論的保証を提供する。
  論文  参考訳（メタデータ） (2024-02-04T12:15:56Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Information Theoretical Importance Sampling Clustering [18.248246885248733]
  多くのクラスタリング手法の現在の仮定は、トレーニングデータと将来のデータが同じ分布から取られるというものである。 我々は,クラスタリング問題(itisC)に対する情報理論的重要度サンプリングに基づくアプローチを提案する。 合成データセットの実験結果と実世界の負荷予測問題により,提案モデルの有効性が検証された。
  論文  参考訳（メタデータ） (2023-02-09T03:18:53Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Near-Optimal High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。 クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Heterogeneous Tensor Mixture Models in High Dimensions [5.656785831541303]
  我々は,不均質な共分散を持つ柔軟高次元テンソル混合モデルを導入する問題を考える。 本手法は,実パラメータの統計的近傍に幾何学的に収束することを示す。 自閉症スペクトラム障害の診断に重要な脳領域を明らかにする。
  論文  参考訳（メタデータ） (2021-04-15T21:06:16Z)
• Posterior-Aided Regularization for Likelihood-Free Inference [23.708122045184698]
  後補助正規化(PAR)は,モデル構造に関係なく,密度推定器の学習に適用可能である。 単一のニューラルネットワークを用いて逆KL項と相互情報項の両方を推定するPARの統一推定方法を提供する。
  論文  参考訳（メタデータ） (2021-02-15T16:59:30Z)
• Adaptive and Oblivious Randomized Subspace Methods for High-Dimensional Optimization: Sharp Analysis and Lower Bounds [37.03247707259297]
  2次統計が入力データを反映する相関ランダム行列をサンプリングすることにより、適切な適応部分空間を生成することができる。 ランダム化された近似の相対誤差は、データ行列のスペクトルの観点から厳密に特徴付けることができることを示した。 実験の結果,提案手法は様々な機械学習および最適化問題において,大幅な高速化を可能にすることがわかった。
  論文  参考訳（メタデータ） (2020-12-13T13:02:31Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。