論文の概要: AgFlow: Fast Model Selection of Penalized PCA via Implicit Regularization Effects of Gradient Flow

• arxiv url: http://arxiv.org/abs/2110.03273v1
• Date: Thu, 7 Oct 2021 08:57:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 16:04:09.869661
• Title: AgFlow: Fast Model Selection of Penalized PCA via Implicit Regularization Effects of Gradient Flow
• Title（参考訳）: AgFlow: 勾配流の入射規則化効果によるペナル化PCAの高速モデル選択
• Authors: Haiyan Jiang, Haoyi Xiong, Dongrui Wu, Ji Liu, and Dejing Dou
• Abstract要約: 主成分分析(PCA)は特徴抽出と次元減少の有効な手法として広く用いられている。 High Dimension Low Sample Size (HDLSS) 設定では、ペナル化ロードを備えた修正主成分が好まれる。 ペナル化PCAの高速モデル選択法として近似勾配流(AgFlow)を提案する。
• 参考スコア（独自算出の注目度）: 64.81110234990888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Principal component analysis (PCA) has been widely used as an effective technique for feature extraction and dimension reduction. In the High Dimension Low Sample Size (HDLSS) setting, one may prefer modified principal components, with penalized loadings, and automated penalty selection by implementing model selection among these different models with varying penalties. The earlier work [1, 2] has proposed penalized PCA, indicating the feasibility of model selection in $L_2$- penalized PCA through the solution path of Ridge regression, however, it is extremely time-consuming because of the intensive calculation of matrix inverse. In this paper, we propose a fast model selection method for penalized PCA, named Approximated Gradient Flow (AgFlow), which lowers the computation complexity through incorporating the implicit regularization effect introduced by (stochastic) gradient flow [3, 4] and obtains the complete solution path of $L_2$-penalized PCA under varying $L_2$-regularization. We perform extensive experiments on real-world datasets. AgFlow outperforms existing methods (Oja [5], Power [6], and Shamir [7] and the vanilla Ridge estimators) in terms of computation costs.
• Abstract（参考訳）: 主成分分析(PCA)は特徴抽出と次元減少の有効な手法として広く用いられている。 High Dimension Low Sample Size (HDLSS) 設定では、様々なペナルティを持つモデルのモデル選択を実装することにより、ペナルティ付きロードと自動ペナルティ選択を備えた修正主成分が好まれる。 初期の研究 [1, 2] では, 線形回帰の解路を通した$L_2$-ペナル化PCAにおけるモデル選択の可能性を示すペナル化PCAが提案されているが, 行列逆算の集中計算のため, 非常に時間がかかる。 本稿では, (統計的) 勾配流 [3, 4] によって導入された暗黙的正規化効果を取り入れ, 計算複雑性を低減し, $l_2$-regularization 下での$l_2$-penalized pca の完全解経路を求めることにより, ペナライズドpca の高速モデル選択法を提案する。 実世界のデータセットに関する広範な実験を行う。 AgFlowは計算コストの観点から既存の手法(Oja [5]、Power [6]、Shamir [7]およびバニラリッジ推定器)より優れています。

関連論文リスト

• Black-Box $k$-to-$1$-PCA Reductions: Theory and Applications [19.714951004096996]
  ブラックボックスデフレ法を$k$-PCAアルゴリズムを設計するためのフレームワークとして分析する。 我々の主な貢献は、$k$-PCAのデフレ法における近似パラメータの劣化に対する、よりシャープな境界である。 我々は,最先端の$k$-PCAアルゴリズムをデータセット汚染に頑健にするために,我々のフレームワークを適用した。
  論文  参考訳（メタデータ） (2024-03-06T18:07:20Z)
• Empirical Bayes Covariance Decomposition, and a solution to the Multiple Tuning Problem in Sparse PCA [2.5382095320488673]
  スパース主成分分析(PCA)は,PCAの解釈可能性と信頼性を両立させる手法として提案されている。 経験ベイズ法による「複数チューニング問題」の解法を提案する。
  論文  参考訳（メタデータ） (2023-12-06T04:00:42Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Fair principal component analysis (PCA): minorization-maximization algorithms for Fair PCA, Fair Robust PCA and Fair Sparse PCA [6.974999794070285]
  公平なPCA(FPCA)問題を解決するために,新しい反復アルゴリズムを提案する。 提案アルゴリズムはアルゴリズムの反復ごとに厳密であることが証明された半直交制約の緩和に依存する。 本稿では,提案手法の性能を,合成データセットと実生活データセットの2つの最先端手法と比較する。
  論文  参考訳（メタデータ） (2023-05-10T08:14:32Z)
• Nearly-Linear Time and Streaming Algorithms for Outlier-Robust PCA [43.106438224356175]
  ほぼ最適誤差保証付き頑健なPCAのためのニア線形時間アルゴリズムを開発した。 また,メモリ使用量にほぼ線形なロバストPCAのためのシングルパスストリーミングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-05-04T04:45:16Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free Reinforcement Learning [52.76230802067506]
  漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。 提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。 初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
  論文  参考訳（メタデータ） (2021-10-09T21:13:48Z)
• LSDAT: Low-Rank and Sparse Decomposition for Decision-based Adversarial Attack [74.5144793386864]
  LSDATは、入力サンプルのスパース成分と対向サンプルのスパース成分によって形成される低次元部分空間における摂動を加工する。 LSDは画像ピクセル領域で直接動作し、スパース性などの非$ell$制約が満たされることを保証します。
  論文  参考訳（メタデータ） (2021-03-19T13:10:47Z)
• Efficient Model-Based Collaborative Filtering with Fast Adaptive PCA [4.878057307346225]
  高速適応ランダム化特異値分解(SVD)を用いたモデルベース協調フィルタリング(CF)手法を提案する。 適応型PCAのための新しい終端機構を提案し, ほぼ最適な予測精度を達成するための複数の潜時因子を自動決定する。 提案したモデルベースCFアプローチは,20MレーティングでMatlab MovieLenデータを効率的に処理し,正規化因数分解に基づくアプローチよりも10倍以上のスピードアップを示す。
  論文  参考訳（メタデータ） (2020-09-04T15:32:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。