論文の概要: Fast Convergence Rates for Subsampled Natural Gradient Algorithms on Quadratic Model Problems

• arxiv url: http://arxiv.org/abs/2508.21022v1
• Date: Thu, 28 Aug 2025 17:24:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:02.534343
• Title: Fast Convergence Rates for Subsampled Natural Gradient Algorithms on Quadratic Model Problems
• Title（参考訳）: 擬似モデル問題に対するサブサンプル自然勾配アルゴリズムの高速収束速度
• Authors: Gil Goldshlager, Jiang Hu, Lin Lin,
• Abstract要約: 理想化されたパラメトリック最適化問題に対して、SNGDとその加速変種であるSPRINGの収束を解析する。 SNGD は正規化 Kaczmarz 法と等価であり、SPRING は加速正規化 Kaczmarz 法と等価であることを示す。 以上の結果から,ランダム化線形代数のツールがサブサンプリングと曲率を考慮した最適化戦略の相互作用に新たな光を当てることができることを示す。
• 参考スコア（独自算出の注目度）: 10.742204947907396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Subsampled natural gradient descent (SNGD) has shown impressive results for parametric optimization tasks in scientific machine learning, such as neural network wavefunctions and physics-informed neural networks, but it has lacked a theoretical explanation. We address this gap by analyzing the convergence of SNGD and its accelerated variant, SPRING, for idealized parametric optimization problems where the model is linear and the loss function is strongly convex and quadratic. In the special case of a least-squares loss, namely the standard linear least-squares problem, we prove that SNGD is equivalent to a regularized Kaczmarz method while SPRING is equivalent to an accelerated regularized Kaczmarz method. As a result, by leveraging existing analyses we obtain under mild conditions (i) the first fast convergence rate for SNGD, (ii) the first convergence guarantee for SPRING in any setting, and (iii) the first proof that SPRING can accelerate SNGD. In the case of a general strongly convex quadratic loss, we extend the analysis of the regularized Kaczmarz method to obtain a fast convergence rate for SNGD under stronger conditions, providing the first explanation for the effectiveness of SNGD outside of the least-squares setting. Overall, our results illustrate how tools from randomized linear algebra can shed new light on the interplay between subsampling and curvature-aware optimization strategies.
• Abstract（参考訳）: サブサンプリングされた自然勾配降下(SNGD)は、ニューラルネットワークの波動関数や物理インフォームドニューラルネットワークのような科学機械学習におけるパラメトリック最適化タスクに対して印象的な結果を示しているが、理論的には説明されていない。 モデルが線形で損失関数が強く凸かつ二次的な理想化パラメトリック最適化問題に対して、SNGDとその加速変種であるSPRINGの収束を解析することにより、このギャップに対処する。 SNGD が正則化 Kaczmarz 法と等価であるのに対し、SPRING は加速正則化 Kaczmarz 法と等価であることを示す。 その結果、既存の分析を活用することで、穏やかな条件下で得られる。 (i)SNGDの最初の高速収束速度 (ii)SPRingの任意の設定における最初の収束保証、及び 三)SPRingがSNGDを加速できるという最初の証明。 一般凸二次損失の場合、正則化カッツマルツ法の解析を拡張して、より強い条件下でSNGDの高速収束率を求め、最小二乗条件以外のSNGDの有効性を初めて説明する。 以上の結果から,ランダム化線形代数のツールがサブサンプリングと曲率を考慮した最適化戦略の相互作用に新たな光を当てることができることを示す。

関連論文リスト

• Least-Squares-Embedded Optimization for Accelerated Convergence of PINNs in Acoustic Wavefield Simulations [2.8948274245812327]
  PINNは偏微分方程式の解法において有望であることを示した。 ヘルムホルツ方程式に基づく散乱音場シミュレーションでは,ハイブリッド最適化の枠組みを導出する。 このフレームワークは、最小二乗(LS)ソルバをGD損失関数に直接埋め込むことで、トレーニング収束を加速する。
  論文  参考訳（メタデータ） (2025-04-23T09:32:14Z)
• Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks [4.554284689395686]
  暗黙的勾配降下(IGD)は、ある種のマルチスケール問題を扱う場合、共通勾配降下(GD)アルゴリズムより優れている。 IGDは線形収束速度で大域的最適解に収束することを示す。
  論文  参考訳（メタデータ） (2024-07-03T06:10:41Z)
• PROMISE: Preconditioned Stochastic Optimization Methods by Incorporating Scalable Curvature Estimates [17.777466668123886]
  PROMISE ($textbfPr$econditioned $textbfO$ptimization $textbfM$ethods by $textbfI$ncorporating $textbfS$calable Curvature $textbfE$stimates)はスケッチベースの事前条件勾配アルゴリズムである。 PROMISEには、SVRG、SAGA、およびKatyushaのプレコンディション版が含まれている。
  論文  参考訳（メタデータ） (2023-09-05T07:49:10Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
  目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる 新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
  論文  参考訳（メタデータ） (2021-05-13T04:23:07Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。