論文の概要: Stochastic Gradient Descent over P2

• arxiv url: http://arxiv.org/abs/2609.13343v2
• Date: Tue, 15 Sep 2026 09:23:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.079268
• Title: Stochastic Gradient Descent over P2
• Title（参考訳）: P2上における確率勾配の退化
• Abstract要約: 勾配降下(SGD)は、ガウス雑音による勾配の複雑なランダム性を置き換える拡散近似を認める。 我々は、類似近似の原理が、ワッサーシュタイン空間 P2 上で定義された函数である確率測度よりも最適化するために成り立つかどうかを考察する。
• 参考スコア（独自算出の注目度）: 4.6107344298094235
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Stochastic gradient descent (SGD) admits diffusion approximations that replace the complicated randomness of stochastic gradients by Gaussian noise, providing a powerful tool for understanding its dynamics and long-time behavior. We investigate whether an analogous approximation principle holds for optimization over probability measures, where the objective is a functional defined on the Wasserstein space P2. The nonlinear geometry and infinite-dimensional nature of P2 prevent a direct extension of the classical Euclidean theory. Using Lions differentiability, we lift the problem to a linear Hilbert space, where higher-order differential calculus becomes available. We then construct a Gaussian random-field approximation whose velocity field matches the mean and covariance of the original stochastic gradient. By exploiting this moment matching through higher-order Taylor expansions, we show that the Gaussian approximation captures the SGD dynamics with second-order weak accuracy. Our result provides a rigorous foundation for replacing sample-driven randomness by analytically tractable Gaussian fluctuations in stochastic optimization over probability measures.
• Abstract（参考訳）: 確率勾配勾配(SGD)は、確率勾配の複雑なランダム性をガウス雑音によって置き換える拡散近似を認め、その力学と長時間の振る舞いを理解する強力なツールを提供する。 我々は、類似近似の原理が、ワッサーシュタイン空間 P2 上で定義された函数である確率測度よりも最適化するために成り立つかどうかを考察する。 P2 の非線形幾何学と無限次元の性質は、古典的ユークリッド理論の直接拡張を妨げている。 ライオンズ微分可能性を用いて、高階微分計算が利用可能になるような線形ヒルベルト空間に問題を持ち上げる。 次に、速度場が元の確率勾配の平均と共分散に一致するガウス確率場近似を構築する。 このモーメントマッチングを高階テイラー展開を通じて利用することにより、ガウス近似が2階の弱い精度でSGDダイナミクスを捉えることを示す。 この結果は,確率測度に対する確率的最適化において,解析的に抽出可能なガウス的ゆらぎによってサンプル駆動ランダム性を置き換えるための厳密な基礎を提供する。

関連論文リスト

• Probabilistic Gaussian Homotopy: A Probability-Space Continuation Framework for Nonconvex Optimization [5.977181405597602]
  非ガウス一般化の継続確率である確率的ホモトピー(PGH)を導入する。 PGHはスケール0$で領域を滑らかにし、本来の目的を0$として回復することを示す。
  論文  参考訳（メタデータ） (2026-03-13T19:32:29Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Hessian-guided Perturbed Wasserstein Gradient Flows for Escaping Saddle Points [54.06226763868876]
  ワッサーシュタインフロー (WGF) は測度空間上で最適化を行う一般的な方法である。 PWGFは一般の非目的の観点で大域的最適に収束することを示す。
  論文  参考訳（メタデータ） (2025-09-21T08:14:20Z)
• Gaussian Approximation and Multiplier Bootstrap for Stochastic Gradient Descent [14.19520637866741]
  信頼性セット構築のための乗算器ブートストラップの非漸近的妥当性を確立する。 我々は1/sqrtn$までの凸距離の近似レートを導出する。
  論文  参考訳（メタデータ） (2025-02-10T17:49:05Z)
• Gradient-Based Non-Linear Inverse Learning [2.6149030745627644]
  ランダム設計下での非線形逆問題の文脈における統計的逆学習について検討する。 勾配勾配勾配 (GD) と降下勾配 (SGD) を, それぞれ一定のステップサイズを用いて小バッチで適用した。 我々の分析は、対象関数の滑らかさに関する古典的な前提条件の下で、両方のアルゴリズムの収束率を導出する。
  論文  参考訳（メタデータ） (2024-12-21T22:38:17Z)
• Limit Theorems for Stochastic Gradient Descent with Infinite Variance [51.4853131023238]
  この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。 また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
  論文  参考訳（メタデータ） (2024-10-21T09:39:10Z)
• Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation [22.652143194356864]
  本研究では, 勾配勾配勾配(SGD)を一定のステップサイズで解くことで, 密接な凸と滑らかな問題を解く問題に対処する。 得られた推定子の平均二乗誤差を、反復数$n$に対して拡張する。 我々の分析は、時相マルコフ連鎖と見なされるSGDの特性に依存している。
  論文  参考訳（メタデータ） (2024-10-07T15:02:48Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。