論文の概要: Improved Analysis of the Accelerated Noisy Power Method with Applications to Decentralized PCA

• arxiv url: http://arxiv.org/abs/2602.03682v1
• Date: Tue, 03 Feb 2026 16:03:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.559639
• Title: Improved Analysis of the Accelerated Noisy Power Method with Applications to Decentralized PCA
• Title（参考訳）: 分散PCAへの適用による加速度雑音パワー法の改良
• Authors: Pierre Aguié, Mathieu Even, Laurent Massoulié,
• Abstract要約: 主成分分析のためのアルゴリズムである加速度雑音パワー法を解析する。 我々は,収束率を改善できないという意味で,解析が最悪の場合最適であることを示す。 これはPCAの収束を確実に加速する最初の分散化アルゴリズムである。
• 参考スコア（独自算出の注目度）: 16.55513570548248
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We analyze the Accelerated Noisy Power Method, an algorithm for Principal Component Analysis in the setting where only inexact matrix-vector products are available, which can arise for instance in decentralized PCA. While previous works have established that acceleration can improve convergence rates compared to the standard Noisy Power Method, these guarantees require overly restrictive upper bounds on the magnitude of the perturbations, limiting their practical applicability. We provide an improved analysis of this algorithm, which preserves the accelerated convergence rate under much milder conditions on the perturbations. We show that our new analysis is worst-case optimal, in the sense that the convergence rate cannot be improved, and that the noise conditions we derive cannot be relaxed without sacrificing convergence guarantees. We demonstrate the practical relevance of our results by deriving an accelerated algorithm for decentralized PCA, which has similar communication costs to non-accelerated methods. To our knowledge, this is the first decentralized algorithm for PCA with provably accelerated convergence.
• Abstract（参考訳）: 本稿では,非接触行列ベクトル生成物のみを利用可能な環境での主成分分析アルゴリズムであるAccelerated Noisy Power Methodを解析する。 従来の研究では、加速度は標準ノイズパワー法と比較して収束率を向上させることが確立されているが、これらの保証は摂動の大きさに過度に制限的な上限を課し、現実的な適用性を制限している。 このアルゴリズムは摂動のより穏やかな条件下での加速収束率を維持できる。 我々は,収束率の改善が不可能であり,収束保証を犠牲にすることなく発生する雑音条件を緩和できないという意味で,新たな分析が最悪の場合最適であることを示す。 我々は,非加速手法と通信コストの類似した分散PCAの高速化アルゴリズムを導出した結果の実用的妥当性を実証する。 我々の知る限り、このアルゴリズムはPCAの収束を確実に加速する最初の分散化アルゴリズムである。

関連論文リスト

• Decentralized Optimization on Compact Submanifolds by Quantized Riemannian Gradient Tracking [45.147301546565316]
  本稿では,コンパクト部分多様体における分散最適化の問題について考察する。 エージェントが量子化変数を用いて変数を更新するアルゴリズムを提案する。 我々の知る限りでは、量子化の存在下で$mathcalO (1/K)$収束率を達成した最初のアルゴリズムである。
  論文  参考訳（メタデータ） (2025-06-09T01:57:25Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Utilising the CLT Structure in Stochastic Gradient based Sampling : Improved Analysis and Faster Algorithms [14.174806471635403]
  粒子ダイナミック(IPD)に対するグラディエント・ランゲヴィン・ダイナミクス(SGLD)やランダムバッチ法(RBM)などのサンプリングアルゴリズムの近似を考察する。 近似によって生じる雑音は中央極限定理(CLT)によりほぼガウス的であるが、ブラウン運動はまさにガウス的である。 この構造を利用して拡散過程内の近似誤差を吸収し、これらのアルゴリズムの収束保証を改善する。
  論文  参考訳（メタデータ） (2022-06-08T10:17:40Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
  ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。 有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
  論文  参考訳（メタデータ） (2021-02-23T18:56:13Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)
• Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
  主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。 スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。 本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T04:25:36Z)
• Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization [64.26238893241322]
  単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。 いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。 これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
  論文  参考訳（メタデータ） (2020-03-31T16:54:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。