論文の概要: Hessian-guided Perturbed Wasserstein Gradient Flows for Escaping Saddle Points

• arxiv url: http://arxiv.org/abs/2509.16974v1
• Date: Sun, 21 Sep 2025 08:14:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.062435
• Title: Hessian-guided Perturbed Wasserstein Gradient Flows for Escaping Saddle Points
• Title（参考訳）: ヘシアン誘導型摂動ワッサースタイン勾配流れによるサドル点の脱出
• Authors: Naoya Yamamoto, Juno Kim, Taiji Suzuki,
• Abstract要約: ワッサーシュタインフロー (WGF) は測度空間上で最適化を行う一般的な方法である。 PWGFは一般の非目的の観点で大域的最適に収束することを示す。
• 参考スコア（独自算出の注目度）: 54.06226763868876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Wasserstein gradient flow (WGF) is a common method to perform optimization over the space of probability measures. While WGF is guaranteed to converge to a first-order stationary point, for nonconvex functionals the converged solution does not necessarily satisfy the second-order optimality condition; i.e., it could converge to a saddle point. In this work, we propose a new algorithm for probability measure optimization, perturbed Wasserstein gradient flow (PWGF), that achieves second-order optimality for general nonconvex objectives. PWGF enhances WGF by injecting noisy perturbations near saddle points via a Gaussian process-based scheme. By pushing the measure forward along a random vector field generated from a Gaussian process, PWGF helps the solution escape saddle points efficiently by perturbing the solution towards the smallest eigenvalue direction of the Wasserstein Hessian. We theoretically derive the computational complexity for PWGF to achieve a second-order stationary point. Furthermore, we prove that PWGF converges to a global optimum in polynomial time for strictly benign objectives.
• Abstract（参考訳）: ワッサーシュタイン勾配流 (WGF) は確率測度の空間上で最適化を行う一般的な方法である。 WGF は一階定常点に収束することが保証されているが、非凸函数に対して収束解は必ずしも二階最適条件を満たすとは限らない。 本研究では,一般の非凸対象に対する2次最適性を実現するために,確率測度最適化のための新しいアルゴリズムである摂動ワッサースタイン勾配流(PWGF)を提案する。 PWGFは、ガウス過程に基づくスキームを介してサドル点付近でノイズの多い摂動を注入することでWGFを強化する。 ガウス過程から生じるランダムなベクトル場に沿って測度を前進させることで、PWGFは解をワッサーシュタイン・ヘッセンの最小固有値方向に向かって摂動させることにより、解を効率的にサドル点から脱出させるのを助ける。 理論的には、PWGFが2次定常点を達成するための計算複雑性を導出する。 さらに、PWGFは、厳密な良性目的に対して多項式時間で大域的最適に収束することを示す。

関連論文リスト

• Randomized Gradient Descents on Riemannian Manifolds: Almost Sure Convergence to Global Minima in and beyond Quantum Optimization [0.0]
  我々は,サドル点が存在するにもかかわらず,ランダム化勾配降下法が一局所最適化にほぼ確実に収束することを証明した。 主要な応用として、一元群上の量子最適化による基底状態の準備を考える。
  論文  参考訳（メタデータ） (2024-05-20T14:06:45Z)
• Continuous-time Riemannian SGD and SVRG Flows on Wasserstein Probabilistic Space [17.13355049019388]
  我々はワッサーシュタイン空間上の勾配流を勾配降下流(SGD)と分散還元流(SVRG)に拡張する。 ワッサーシュタイン空間の性質を利用して、ユークリッド空間における対応する離散力学を近似するために微分方程式を構築する。 この結果はユークリッド空間における結果と一致することが証明されている。
  論文  参考訳（メタデータ） (2024-01-24T15:35:44Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Gradient-Free Methods for Deterministic and Stochastic Nonsmooth Nonconvex Optimization [94.19177623349947]
  非滑らかな非最適化問題は、機械学習とビジネス製造に現れる。 2つのコア課題は、有限収束を保証する効率的な方法の開発を妨げる。 GFMとSGFMの2相版も提案され, 改良された大規模評価結果が得られた。
  論文  参考訳（メタデータ） (2022-09-12T06:53:24Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• On The Convergence of Euler Discretization of Finite-Time Convergent Gradient Flows [4.401622714202886]
  本稿では,RGF (Rescaled-gradient Flow) とSGF (Signed-gradient Flow) の2つの新しい一階最適化アルゴリズムの性能について検討する。 これらのアルゴリズムは、勾配線型関数のミニマに局所収束する非リプシッツ力学系からなる有限時間収束流の前方離散化から導かれる。
  論文  参考訳（メタデータ） (2020-10-06T19:28:00Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。