論文の概要: Stochastic gradient descent in high dimensions for multi-spiked tensor PCA

• arxiv url: http://arxiv.org/abs/2410.18162v1
• Date: Wed, 23 Oct 2024 17:20:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:50:36.755811
• Title: Stochastic gradient descent in high dimensions for multi-spiked tensor PCA
• Title（参考訳）: マルチスパイクテンソルPCAにおける高次元確率勾配勾配
• Authors: Gérard Ben Arous, Cédric Gerbelot, Vanessa Piccolo,
• Abstract要約: マルチスパイクテンソルモデルにおけるオンライン勾配勾配の高次元におけるダイナミクスについて検討する。 我々は、スパイクが「逐次除去」と呼ばれるプロセスで順次回収されることを発見した。
• 参考スコア（独自算出の注目度）: 8.435118770300999
• License:
• Abstract: We study the dynamics in high dimensions of online stochastic gradient descent for the multi-spiked tensor model. This multi-index model arises from the tensor principal component analysis (PCA) problem with multiple spikes, where the goal is to estimate $r$ unknown signal vectors within the $N$-dimensional unit sphere through maximum likelihood estimation from noisy observations of a $p$-tensor. We determine the number of samples and the conditions on the signal-to-noise ratios (SNRs) required to efficiently recover the unknown spikes from natural random initializations. We show that full recovery of all spikes is possible provided a number of sample scaling as $N^{p-2}$, matching the algorithmic threshold identified in the rank-one case [Ben Arous, Gheissari, Jagannath 2020, 2021]. Our results are obtained through a detailed analysis of a low-dimensional system that describes the evolution of the correlations between the estimators and the spikes, while controlling the noise in the dynamics. We find that the spikes are recovered sequentially in a process we term "sequential elimination": once a correlation exceeds a critical threshold, all correlations sharing a row or column index become sufficiently small, allowing the next correlation to grow and become macroscopic. The order in which correlations become macroscopic depends on their initial values and the corresponding SNRs, leading to either exact recovery or recovery of a permutation of the spikes. In the matrix case, when $p=2$, if the SNRs are sufficiently separated, we achieve exact recovery of the spikes, whereas equal SNRs lead to recovery of the subspace spanned by the spikes.
• Abstract（参考訳）: マルチスパイクテンソルモデルに対するオンライン確率勾配勾配の高次元におけるダイナミクスについて検討する。 このマルチインデックスモデルは、複数のスパイクを持つテンソル主成分分析(PCA)問題から生じ、そこでは、$N$次元単位球内の未知信号ベクトル$r$$$を、$p$テンソルのノイズ観測から最大推定することによって推定する。 自然確率初期化から未知のスパイクを効率よく回収するために必要なサンプル数と信号対雑音比(SNR)の条件を決定する。 すべてのスパイクの完全回復は、ランク1のケース(Ben Arous, Gheissari, Jagannath 2020, 2021)で同定されたアルゴリズムしきい値に一致する、$N^{p-2}$の多くのサンプルスケーリングが可能であることを示す。 本研究は, 動的騒音を制御しながら, 推定器とスパイクの相関関係の進化を記述した低次元システムの詳細な解析により得られた。 相関が臨界しきい値を超えると、行または列インデックスを共有するすべての相関が十分に小さくなり、次の相関が成長し、マクロとなる。 相関関係がマクロ的になる順序は、初期値と対応するSNRに依存し、スパイクの置換の正確な回復または回復をもたらす。 行列の場合、$p=2$ の場合、SNR が十分に分離された場合、スパイクの正確な回復を達成するのに対し、SNR は等しくスパイクによって分散された部分空間の回復をもたらす。

関連論文リスト

• High-dimensional optimization for multi-spiked tensor PCA [8.435118770300999]
  本研究では,2つの局所最適化アルゴリズム,オンライン勾配勾配(SGD)と勾配流のダイナミクスについて検討する。 勾配流の場合、第1のスパイクを効率的に回収するアルゴリズムしきい値も$Np-2$である。 この結果は, 推定器とスパイクの相関関係を記述した低次元系の詳細な解析によって得られた。
  論文  参考訳（メタデータ） (2024-08-12T12:09:25Z)
• Demystifying SGD with Doubly Stochastic Gradients [13.033133586372612]
  一般条件下では、独立なミニバッチとランダムリシャッフルを併用した2重SGDの収束特性を確立する。 ランダムリシャッフルによりサブサンプリングノイズの複雑性依存性が向上することが証明された。
  論文  参考訳（メタデータ） (2024-06-03T01:13:19Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
  ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。 我々は,頑健な期待回帰(退職)を提案し,研究する。 提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
  論文  参考訳（メタデータ） (2022-12-11T18:03:12Z)
• Optimal Online Generalized Linear Regression with Stochastic Noise and Its Application to Heteroscedastic Bandits [88.6139446295537]
  一般化線形モデルの設定におけるオンライン一般化線形回帰の問題について検討する。 ラベルノイズに対処するため、古典的追従正規化リーダ(FTRL)アルゴリズムを鋭く解析する。 本稿では,FTRLに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-28T08:25:26Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Convergence Rates of Stochastic Gradient Descent under Infinite Noise Variance [14.06947898164194]
  ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。 SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。 その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
  論文  参考訳（メタデータ） (2021-02-20T13:45:11Z)
• The Generalized Lasso with Nonlinear Observations and Generative Priors [63.541900026673055]
  我々は、幅広い測定モデルで満たされるガウス下測度を仮定する。 この結果から, 局所埋込特性を仮定して, 均一回復保証まで拡張できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-22T16:43:35Z)
• The Heavy-Tail Phenomenon in SGD [7.366405857677226]
  最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。 深層学習におけるSGDの行動に関する知見に分析結果を変換する。
  論文  参考訳（メタデータ） (2020-06-08T16:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。