論文の概要: From Saddle Points Toward Global Minima: A Newton-Type Method on Wasserstein Space
- arxiv url: http://arxiv.org/abs/2605.17963v1
- Date: Mon, 18 May 2026 07:18:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:48.945612
- Title: From Saddle Points Toward Global Minima: A Newton-Type Method on Wasserstein Space
- Title(参考訳): 大域ミニマへ向けたサドルポイント:ワッサーシュタイン空間上のニュートン型手法
- Authors: Razvan-Andrei Lascu, Taiji Suzuki,
- Abstract要約: 正方形ワッサーシュタイン・ヘッセンの正則化平方根によるワッサーシュタイン最小化を前提とした二階法を提案する。
この構造は、負の曲率に沿って反発方向を誘導しながら、正の曲率に向かう方向へのアトラクションを保っている。
We show that WSFN converges linearly in $L2$-Wasserstein to a non-de global distance。
- 参考スコア(独自算出の注目度): 51.56484100374058
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the minimization of non-convex functionals over the Wasserstein space. While recent work has showed that perturbed Wasserstein gradient methods can avoid saddle points for benign landscapes, existing approaches remain essentially first-order and do not provide fast local convergence once the iterates enter a neighborhood of a global minimizer. We propose Wasserstein Saddle-Free Newton (WSFN), a second-order method that preconditions the Wasserstein gradient by a regularized square root of the squared Wasserstein Hessian. This construction preserves attraction toward directions of positive curvature while inducing repulsion along directions of negative curvature, thereby overcoming the tendency of standard Wasserstein Newton dynamics to be attracted to saddles. We also establish second-order sufficient optimality conditions on Wasserstein space for strict local minimality. Under regularity and benign landscape assumptions, we prove that WSFN escapes saddle regions and reaches an $α$-neighborhood of a global minimizer in polynomial time, with improved dependence on saddle parameters compared with prior perturbed first-order methods. Once inside this neighborhood, we show that WSFN converges linearly in $L^2$-Wasserstein distance to a non-degenerate global minimizer. Finally, we present a particle-based implementation of the method.
- Abstract(参考訳): ワッサーシュタイン空間上の非凸函数の最小化について検討する。
近年の研究では、乱れたワッサーシュタイン勾配法は、良質な風景に対するサドル点を回避できることが示されているが、既存のアプローチは本質的に一階に留まり、イテレートが大域的な最小値の近傍に入ると、局所収束が速くなることはない。
WSFN(Wasserstein Saddle-Free Newton)は、正方形ワッサーシュタイン・ヘッセンの正則化平方根によってワッサーシュタイン勾配を前提とした二階法である。
この構造は負曲率方向の反発を誘導しながら正曲率方向のアトラクションを保ち、標準のワッサースタインニュートンダイナミクスをサドルに惹きつける傾向を克服する。
また、厳密な局所極小性のために、ワッサーシュタイン空間上で2階十分最適条件を確立する。
正規性と良質なランドスケープ仮定の下では、WSFNはサドル領域を脱出し、多項式時間で大域最小化器の近傍に$α$に達することを証明し、以前の摂動一階法と比較してサドルパラメータへの依存性を改善した。
この近傍の中で、WSFN は非退化大域最小化器に$L^2$-ワッサーシュタイン距離で線型収束することを示す。
最後に,本手法の実装について述べる。
関連論文リスト
- Local LMO: Constrained Gradient Optimization via a Local Linear Minimization Oracle [51.714334316332476]
Local Lは制約付き最適化のための新しいプロジェクションフリー型である。
局所LMOはGD(Gradient Descent)のオラクルと見なされる。
論文 参考訳(メタデータ) (2026-05-09T10:03:24Z) - Fast Estimation of Wasserstein Distances via Regression on Sliced Wasserstein Distances [70.94157767200342]
本稿では,スライスされたワッサーシュタイン距離の回帰に基づく高速推定法を提案する。
少数の分布対から正確なモデルを学習できることが示される。
我々の手法は、最先端のワッサーシュタイン埋め込みモデルであるワッサーシュタインワームホールよりも、ワッサーシュタイン距離の近似が常に優れている。
論文 参考訳(メタデータ) (2025-09-24T19:30:53Z) - Hessian-guided Perturbed Wasserstein Gradient Flows for Escaping Saddle Points [54.06226763868876]
ワッサーシュタインフロー (WGF) は測度空間上で最適化を行う一般的な方法である。
PWGFは一般の非目的の観点で大域的最適に収束することを示す。
論文 参考訳(メタデータ) (2025-09-21T08:14:20Z) - Continuous-time Riemannian SGD and SVRG Flows on Wasserstein Probabilistic Space [21.12668895845275]
我々は、フロー上の勾配を勾配降下に拡張することにより、ワッサーシュタイン空間における連続最適化手法の族を拡張する。
ワッサーシュタイン空間の性質を利用して微分方程式(SDE)を構築し、対応する離散ユークリッド力学を近似する。
最後に、提案した流れの収束速度を確立し、ユークリッド設定で知られている流れと整合する。
論文 参考訳(メタデータ) (2024-01-24T15:35:44Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳(メタデータ) (2023-11-04T11:12:24Z) - Projected Langevin dynamics and a gradient flow for entropic optimal
transport [0.8057006406834466]
エントロピー規則化された最適輸送からサンプリングした類似拡散力学を導入する。
部分多様体 $Pi(mu,nu)$ の誘導されたワッサーシュタイン幾何学の研究により、SDE はこの結合空間上のワッサーシュタイン勾配フローとみなすことができると論じる。
論文 参考訳(メタデータ) (2023-09-15T17:55:56Z) - Non-asymptotic convergence bounds for Wasserstein approximation using
point clouds [0.0]
モデル確率分布からサンプルしたような離散データを生成する方法を示す。
収束型アルゴリズムに対して明示的な上限を与える。
論文 参考訳(メタデータ) (2021-06-15T06:53:08Z) - Continuous Wasserstein-2 Barycenter Estimation without Minimax
Optimization [94.18714844247766]
ワッサーシュタイン・バリセンターは、最適輸送に基づく確率測度の重み付き平均の幾何学的概念を提供する。
本稿では,Wasserstein-2 バリセンタのサンプルアクセスを演算するスケーラブルなアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-02T21:01:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。