論文の概要: On the Optimality of the Oja's Algorithm for Online PCA
- arxiv url: http://arxiv.org/abs/2104.00512v1
- Date: Wed, 31 Mar 2021 15:02:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-02 13:21:49.760864
- Title: On the Optimality of the Oja's Algorithm for Online PCA
- Title(参考訳): オンラインPCAにおけるOjaアルゴリズムの最適性について
- Authors: Xin Liang
- Abstract要約: 高い確率で、任意の部分ガウス分布の主成分部分空間を近似するために、効率的でギャップのないグローバル収束率を実行することが証明されている。
収束率、すなわち近似の上界は、オフライン/古典的PCAによって得られる近似の下限を定数係数に正確に一致することを示すのはこれが初めてである。
- 参考スコア(独自算出の注目度): 1.3934770330948278
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we analyze the behavior of the Oja's algorithm for
online/streaming principal component subspace estimation. It is proved that
with high probability it performs an efficient, gap-free, global convergence
rate to approximate an principal component subspace for any sub-Gaussian
distribution. Moreover, it is the first time to show that the convergence rate,
namely the upper bound of the approximation, exactly matches the lower bound of
an approximation obtained by the offline/classical PCA up to a constant factor.
- Abstract(参考訳): 本稿では,オンライン/ストリーミング主成分部分空間推定におけるojaアルゴリズムの挙動を解析する。
高い確率で、ガウス分布の主成分部分空間を近似するために、効率よく、ギャップフリーで大域収束速度を実行することが証明された。
さらに、収束率、すなわち近似の上界は、オフライン/古典的PCAによって得られる近似の下限を定数係数に正確に一致することを示すのはこれが初めてである。
関連論文リスト
- The role of gaps in digitized counterdiabatic QAOA for fully-connected spin models [0.0]
量子近似最適化アルゴリズム(QAOA)に対するCD補正が提案され、標準QAOAよりも所望の精度で収束する。
本研究では,解析したインスタンスのスペクトル特性にアルゴリズムの性能が関係していることを示す。
論文 参考訳(メタデータ) (2024-09-05T13:17:56Z) - Differentially Private Optimization with Sparse Gradients [60.853074897282625]
微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。
これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
論文 参考訳(メタデータ) (2024-04-16T20:01:10Z) - On Linear Convergence of PI Consensus Algorithm under the Restricted Secant Inequality [5.35599092568615]
本稿では,ピアツーピアマルチエージェントネットワークにおける分散最適化問題について考察する。
比例積分 (PI) 制御戦略を用いることで, 固定段数をもつ様々なアルゴリズムが開発されている。
論文 参考訳(メタデータ) (2023-09-30T15:54:52Z) - Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。
本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
論文 参考訳(メタデータ) (2023-01-30T15:46:39Z) - Orthogonal Polynomials Approximation Algorithm (OPAA):a functional
analytic approach to estimating probability densities [0.0]
新しい直交多項式近似アルゴリズム(OPAA)を提案する。
OPAAは機能解析手法を用いて確率分布を推定する。
後部の正規化重量を推定するために応用できる。
論文 参考訳(メタデータ) (2022-11-16T00:51:00Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-09-23T17:38:24Z) - Gradient Descent Averaging and Primal-dual Averaging for Strongly Convex
Optimization [15.731908248435348]
強凸の場合の勾配降下平均化と主双進平均化アルゴリズムを開発する。
一次二重平均化は出力平均化の観点から最適な収束率を導出し、SC-PDAは最適な個々の収束を導出する。
SVMとディープラーニングモデルに関するいくつかの実験は、理論解析の正確性とアルゴリズムの有効性を検証する。
論文 参考訳(メタデータ) (2020-12-29T01:40:30Z) - Distributed Variational Bayesian Algorithms Over Sensor Networks [6.572330981878818]
一般ベイズ推論問題に対する2つの新しい分散VBアルゴリズムを提案する。
提案アルゴリズムは、核融合センターで利用可能な全データに依存する集中型VBアルゴリズムとほぼ同等の性能を有する。
論文 参考訳(メタデータ) (2020-11-27T08:12:18Z) - An Asymptotically Optimal Primal-Dual Incremental Algorithm for
Contextual Linear Bandits [129.1029690825929]
複数の次元に沿った最先端技術を改善する新しいアルゴリズムを提案する。
非文脈線形帯域の特別な場合において、学習地平線に対して最小限の最適性を確立する。
論文 参考訳(メタデータ) (2020-10-23T09:12:47Z) - Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。
スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。
本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-23T04:25:36Z) - IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。
提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。
加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文 参考訳(メタデータ) (2020-06-11T18:49:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。