論文の概要: Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2004.02823v2
• Date: Tue, 2 Jun 2020 20:49:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 07:21:31.950883
• Title: Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin Dynamics
• Title（参考訳）: 非可逆確率勾配ランゲヴィンダイナミクスによる非凸最適化
• Authors: Yuanhan Hu, Xiaoyu Wang, Xuefeng Gao, Mert Gurbuzbalaban, Lingjiong Zhu
• Abstract要約: グラディエント・ランゲヴィン・ダイナミクス (Gradient Langevin Dynamics, SGLD) は、非目的勾配を最適化する強力なアルゴリズムである。 NSGLDは非可逆拡散の離散化に基づいている。
• 参考スコア（独自算出の注目度）: 27.097121544378528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic Gradient Langevin Dynamics (SGLD) is a powerful algorithm for optimizing a non-convex objective, where a controlled and properly scaled Gaussian noise is added to the stochastic gradients to steer the iterates towards a global minimum. SGLD is based on the overdamped Langevin diffusion which is reversible in time. By adding an anti-symmetric matrix to the drift term of the overdamped Langevin diffusion, one gets a non-reversible diffusion that converges to the same stationary distribution with a faster convergence rate. In this paper, we study the non reversible Stochastic Gradient Langevin Dynamics (NSGLD) which is based on discretization of the non-reversible Langevin diffusion. We provide finite-time performance bounds for the global convergence of NSGLD for solving stochastic non-convex optimization problems. Our results lead to non-asymptotic guarantees for both population and empirical risk minimization problems. Numerical experiments for Bayesian independent component analysis and neural network models show that NSGLD can outperform SGLD with proper choices of the anti-symmetric matrix.
• Abstract（参考訳）: Stochastic Gradient Langevin Dynamics (SGLD) は、非凸目標を最適化するための強力なアルゴリズムであり、制御および適切にスケールされたガウスノイズを確率勾配に追加して、反復を大域的に最小限に設定する。 SGLDは時間の経過とともに可逆的なランゲヴィン拡散に基づく。 過減衰ランジュバン拡散のドリフト項に反対称行列を加えることにより、より速い収束率で同じ定常分布に収束する非可逆拡散が得られる。 本稿では,非可逆なランゲヴィン拡散の離散化に基づく非可逆確率勾配ランゲヴィンダイナミクス(NSGLD)について検討する。 確率的非凸最適化問題に対するNSGLDのグローバル収束に対する有限時間性能境界を提供する。 その結果、人口と経験的リスクの最小化問題の両方に対する非漸近的保証が得られた。 ベイズ独立成分分析とニューラルネットワークモデルに関する数値実験により、NSGLDは反対称行列の適切な選択でSGLDより優れていることが示された。

関連論文リスト

• Faster Sampling via Stochastic Gradient Proximal Sampler [28.422547264326468]
  非log-concave分布からのサンプリングのための近位サンプリング器 (SPS) について検討した。 対象分布への収束性は,アルゴリズムの軌道が有界である限り保証可能であることを示す。 我々は、Langevin dynamics(SGLD)とLangevin-MALAの2つの実装可能な変種を提供し、SPS-SGLDとSPS-MALAを生み出した。
  論文  参考訳（メタデータ） (2024-05-27T00:53:18Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Constrained Langevin Algorithms with L-mixing External Random Variables [0.0]
  ランゲヴィンサンプリングアルゴリズムは付加雑音で拡張される。 学習のためのランゲヴィンアルゴリズムの非同化解析は広く研究されている。 ここでは,Langevinアルゴリズムが22点の偏差を達成することを示す。
  論文  参考訳（メタデータ） (2022-05-27T18:44:35Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• A Contour Stochastic Gradient Langevin Dynamics Algorithm for Simulations of Multi-modal Distributions [17.14287157979558]
  ビッグデータ統計学の学習のための適応重み付き勾配ランゲヴィン力学(SGLD)を提案する。 提案アルゴリズムは、CIFAR100を含むベンチマークデータセットで検証される。
  論文  参考訳（メタデータ） (2020-10-19T19:20:47Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• Dimension-free convergence rates for gradient Langevin dynamics in RKHS [47.198067414691174]
  グラディエントランゲヴィンダイナミクス(GLD)とSGLDは近年注目されている。 空間が無限次元空間であるとき、収束解析 GLD と SGLD を提供する。
  論文  参考訳（メタデータ） (2020-02-29T17:14:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。