論文の概要: Langevin Dynamics: A Unified Perspective on Optimization via Lyapunov Potentials
- arxiv url: http://arxiv.org/abs/2407.04264v1
- Date: Fri, 5 Jul 2024 05:34:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 14:31:15.244575
- Title: Langevin Dynamics: A Unified Perspective on Optimization via Lyapunov Potentials
- Title（参考訳）: Langevin Dynamics: リアプノフポテンシャルによる最適化の統一的な展望
- Authors: August Y. Chen, Ayush Sekhari, Karthik Sridharan,
- Abstract要約: 我々は、リアプノフポテンシャルと最適化に基づいて、グラディエント・ランゲヴィン・ダイナミクス(SGLD)のグローバル・ミニマへの収束を分析する。
2) SGLD に対する最初の有限勾配複雑性、3) 連続時間ランゲヴィンダイナミクスが最適化に成功するなら、次に離散時間 SGLD が穏やかな正則性仮定の下で成功することを証明する。
- 参考スコア（独自算出の注目度）: 15.718093624695552
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of non-convex optimization using Stochastic Gradient Langevin Dynamics (SGLD). SGLD is a natural and popular variation of stochastic gradient descent where at each step, appropriately scaled Gaussian noise is added. To our knowledge, the only strategy for showing global convergence of SGLD on the loss function is to show that SGLD can sample from a stationary distribution which assigns larger mass when the function is small (the Gibbs measure), and then to convert these guarantees to optimization results. We employ a new strategy to analyze the convergence of SGLD to global minima, based on Lyapunov potentials and optimization. We convert the same mild conditions from previous works on SGLD into geometric properties based on Lyapunov potentials. This adapts well to the case with a stochastic gradient oracle, which is natural for machine learning applications where one wants to minimize population loss but only has access to stochastic gradients via minibatch training samples. Here we provide 1) improved rates in the setting of previous works studying SGLD for optimization, 2) the first finite gradient complexity guarantee for SGLD where the function is Lipschitz and the Gibbs measure defined by the function satisfies a Poincar\'e Inequality, and 3) prove if continuous-time Langevin Dynamics succeeds for optimization, then discrete-time SGLD succeeds under mild regularity assumptions.
- Abstract（参考訳）: 本研究では,SGLD(Stochastic Gradient Langevin Dynamics)を用いた非凸最適化の問題点について検討する。
SGLDは確率勾配勾配の自然な変化であり、各ステップで適切なスケールのガウス雑音が加えられる。
我々の知る限り、損失関数上のSGLDのグローバル収束を示す唯一の戦略は、関数が小さいときにより大きな質量を割り当てる定常分布からSGLDをサンプリングできることを示し(ギブス測度)、これらの保証を最適化結果に変換することである。
我々は、リアプノフポテンシャルと最適化に基づいて、SGLDのグローバルミニマへの収束を分析するために、新しい戦略を採用している。
我々は、SGLDの以前の研究から、リアプノフポテンシャルに基づく幾何学的性質に変換する。
これは、人口減少を最小限に抑えたいが、ミニバッチトレーニングサンプルを通じてのみ確率勾配にアクセスしたい機械学習アプリケーションにとって自然な、確率勾配オラクルの場合によく適応する。
ここでは
1)SGLDを最適化するための先行研究の実施率の向上。
2) 関数がリプシッツであり、函数によって定義されるギブズ測度がポアンカーの不等式を満たすような SGLD に対する最初の有限勾配複雑性を保証する。
3) 連続時間ランゲヴィンダイナミクスが最適化に成功するなら、離散時間 SGLD は穏やかな正規性仮定の下で成功する。
関連論文リスト
- Convergence of mean-field Langevin dynamics: Time and space
discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。
近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。
有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文 参考訳（メタデータ） (2023-06-12T16:28:11Z) - From Gradient Flow on Population Loss to Learning with Stochastic
Gradient Descent [50.4531316289086]
SGD(Gradient Descent)は、大規模非ルートモデルの学習方法である。
集団損失のGFが収束すると仮定して、総合的な条件 SGD が収束する。
我々は、凸損失のような古典的な設定だけでなく、Retrieval Matrix sq-rootのようなより複雑な問題に対してもGD/SGDを統一的に解析する。
論文 参考訳（メタデータ） (2022-10-13T03:55:04Z) - SGDA with shuffling: faster convergence for nonconvex-P{\L} minimax
optimization [18.668531108219415]
逐次降下勾配(SGDA)を用いた最小最適化問題に対する理論的アプローチを提案する。
我々は,ポリアック・ロジャシエヴィチ(PL)幾何を用いて,非凹凸対象に対するSGDA-LLの同時的および交互的目的を解析した。
我々のレートはミニバッチGDARRにも拡張され、完全な勾配勾配降下勾配 (GDA) の既知率はほとんど回復しない。
最後に, 2 時間スケール GDA の包括的下限について述べる。
論文 参考訳（メタデータ） (2022-10-12T08:05:41Z) - Low-Precision Stochastic Gradient Langevin Dynamics [70.69923368584588]
本稿では,低精度のグラジエントランゲヴィンダイナミクスを初めて研究し,性能を犠牲にすることなくコストを大幅に削減できることを示した。
本研究では,各更新ステップの分散を保存したSGLDの新しい量子化関数を開発する。
我々は,低精度のSGLDが,様々なディープラーニングタスクにおいて8ビットしか持たない完全精度のSGLDに匹敵する性能を実現することを実証した。
論文 参考訳（メタデータ） (2022-06-20T17:25:41Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - Stochastic Gradient Langevin Dynamics with Variance Reduction [6.243995448840211]
勾配ランゲヴィンダイナミクス(SGLD)は、グローバル最適化研究者の注目を集めている。
本稿では,加速度特性の低減による非目的関数の改善を実証する。
論文 参考訳（メタデータ） (2021-02-12T20:22:56Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - An improved convergence analysis for decentralized online stochastic
non-convex optimization [17.386715847732468]
本稿では,GT-Loakjasiewics(GT-Loakjasiewics)と呼ばれる手法が,GT-Loakjasiewics(GT-Loakjasiewics)が現在の収束率を満たすことを示す。
結果はすぐに適用できるだけでなく、現在知られている最高の収束率にも適用できる。
論文 参考訳（メタデータ） (2020-08-10T15:29:13Z) - Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。
我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
論文 参考訳（メタデータ） (2020-06-12T02:45:21Z) - Replica Exchange for Non-Convex Optimization [4.421561004829125]
勾配降下(GD)は凸目的関数に対して急速に収束することが知られているが、局所的なミニマに閉じ込められることがある。
ランゲヴィン力学(LD)は状態空間を探索し、大域的な最小値を見つけることができるが、正確な推定を得るためには、LDは小さな離散化ステップサイズで実行し、弱い力を検証する必要がある。
本稿では,これら2つのアルゴリズムとその非スワッピング変種が,単純な交換機構によって協調可能であることを示す。
論文 参考訳（メタデータ） (2020-01-23T03:13:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。