論文の概要: Probabilistic Gaussian Homotopy: A Probability-Space Continuation Framework for Nonconvex Optimization
- arxiv url: http://arxiv.org/abs/2603.13546v1
- Date: Fri, 13 Mar 2026 19:32:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.265557
- Title: Probabilistic Gaussian Homotopy: A Probability-Space Continuation Framework for Nonconvex Optimization
- Title(参考訳): 確率ガウスホモトピー:非凸最適化のための確率空間継続フレームワーク
- Authors: Eshed Gal, Samy Wu Fung, Eldad Haber,
- Abstract要約: 非ガウス一般化の継続確率である確率的ホモトピー(PGH)を導入する。
PGHはスケール0$で領域を滑らかにし、本来の目的を0$として回復することを示す。
- 参考スコア(独自算出の注目度): 5.977181405597602
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Probabilistic Gaussian Homotopy (PGH), a probability-space continuation framework for nonconvex optimization. Unlike classical Gaussian homotopy, which smooths the objective and uniformly averages gradients, PGH deforms the associated Boltzmann distribution and induces Boltzmann-weighted aggregation of perturbed gradients, which exponentially biases descent directions toward low-energy regions. We show that PGH corresponds to a log-sum-exp (soft-min) homotopy that smooths a nonconvex objective at scale $λ>0$ and recovers the original objective as $λ\to 0$, yielding a posterior-mean generalization of the Moreau envelope, and we derive a dynamical system governing minimizer evolution along an annealed homotopy path. This establishes a principled connection between Gaussian continuation, Bayesian denoising, and diffusion-style smoothing. We further propose Probabilistic Gaussian Homotopy Optimization (PGHO), a practical stochastic algorithm based on Monte Carlo gradient estimation, and demonstrate strong performance on high-dimensional nonconvex benchmarks and sparse recovery problems where classical gradient methods and objective-space smoothing frequently fail.
- Abstract(参考訳): 非凸最適化のための確率空間継続フレームワークである確率ガウスホモトピー(PGH)を導入する。
目的を滑らかにし、一様平均的な勾配を持つ古典ガウスホモトピーとは異なり、PGHはボルツマン分布を変形させ、ボルツマン重み付けされた摂動勾配の集合を誘導し、低エネルギー領域への降下方向を指数関数的にバイアスする。
PGHはスケール$λ>0$で非凸対象を滑らかにし、元の目的を$λ\to 0$として回復する対数sum-exp(ソフトミン)ホモトピーに対応することを示す。
これはガウス連続、ベイズ分解、拡散型滑らか化の原理的な関係を確立する。
さらに,モンテカルロ勾配推定に基づく確率的確率的アルゴリズムである確率ガウスホモトピー最適化(PGHO)を提案する。
関連論文リスト
- Accelerated Bayesian imaging by relaxed proximal-point Langevin sampling [4.848683707039751]
本稿では, 画像逆問題におけるベイズ推定を行うために, マルコフ近位連鎖モンテカルロ法を提案する。
モロー・ヨシダの滑らか化によって滑らかにあるいは正規化されるモデルに対しては、中間点は過度に損傷されたランゲヴィン拡散の暗黙の離散化と等価である。
kappa$-strongly log-concaveのターゲットに対しては、提供された非漸近収束解析も最適な時間ステップを特定する。
論文 参考訳(メタデータ) (2023-08-18T10:55:49Z) - Utilising the CLT Structure in Stochastic Gradient based Sampling :
Improved Analysis and Faster Algorithms [14.174806471635403]
粒子ダイナミック(IPD)に対するグラディエント・ランゲヴィン・ダイナミクス(SGLD)やランダムバッチ法(RBM)などのサンプリングアルゴリズムの近似を考察する。
近似によって生じる雑音は中央極限定理(CLT)によりほぼガウス的であるが、ブラウン運動はまさにガウス的である。
この構造を利用して拡散過程内の近似誤差を吸収し、これらのアルゴリズムの収束保証を改善する。
論文 参考訳(メタデータ) (2022-06-08T10:17:40Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳(メタデータ) (2021-12-29T18:46:52Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳(メタデータ) (2021-05-03T16:36:27Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳(メタデータ) (2021-04-30T08:50:24Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。