論文の概要: Dimension-free convergence rates for gradient Langevin dynamics in RKHS

• arxiv url: http://arxiv.org/abs/2003.00306v2
• Date: Thu, 26 Mar 2020 10:05:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 20:35:24.236579
• Title: Dimension-free convergence rates for gradient Langevin dynamics in RKHS
• Title（参考訳）: RKHSにおける勾配ランゲヴィンダイナミクスの次元自由収束速度
• Authors: Boris Muzellec, Kanji Sato, Mathurin Massias, Taiji Suzuki
• Abstract要約: グラディエントランゲヴィンダイナミクス(GLD)とSGLDは近年注目されている。 空間が無限次元空間であるとき、収束解析 GLD と SGLD を提供する。
• 参考スコア（独自算出の注目度）: 47.198067414691174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient Langevin dynamics (GLD) and stochastic GLD (SGLD) have attracted considerable attention lately, as a way to provide convergence guarantees in a non-convex setting. However, the known rates grow exponentially with the dimension of the space. In this work, we provide a convergence analysis of GLD and SGLD when the optimization space is an infinite dimensional Hilbert space. More precisely, we derive non-asymptotic, dimension-free convergence rates for GLD/SGLD when performing regularized non-convex optimization in a reproducing kernel Hilbert space. Amongst others, the convergence analysis relies on the properties of a stochastic differential equation, its discrete time Galerkin approximation and the geometric ergodicity of the associated Markov chains.
• Abstract（参考訳）: グラディエントランゲヴィンダイナミクス(GLD)と確率GLD(SGLD)は,近年,非凸条件下で収束保証を提供する手段として注目されている。 しかし、既知の速度は空間の次元とともに指数関数的に増加する。 本研究では、最適化空間が無限次元ヒルベルト空間であるとき、GLD と SGLD の収束解析を提供する。 より正確には、再生核ヒルベルト空間において正則化非凸最適化を行う場合、gld/sgldに対する非漸近的次元自由収束率を求める。 中でも収束解析は確率微分方程式の性質、その離散時間ガレルキン近似、および関連するマルコフ鎖の幾何学的エルゴード性に依存する。

関連論文リスト

• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)
• Geometric ergodicity of SGLD via reflection coupling [7.483270274259962]
  非変分条件下でのグラディエント・ランゲヴィン・ダイナミクス(SGLD)アルゴリズムのエルゴディディティを考察する。 SGLD の Wasserstein 座標系は、目標分布が数セットの外側でのみ対数凹であるときに証明する。
  論文  参考訳（メタデータ） (2023-01-17T09:24:32Z)
• From Gradient Flow on Population Loss to Learning with Stochastic Gradient Descent [50.4531316289086]
  SGD(Gradient Descent)は、大規模非ルートモデルの学習方法である。 集団損失のGFが収束すると仮定して、総合的な条件 SGD が収束する。 我々は、凸損失のような古典的な設定だけでなく、Retrieval Matrix sq-rootのようなより複雑な問題に対してもGD/SGDを統一的に解析する。
  論文  参考訳（メタデータ） (2022-10-13T03:55:04Z)
• Time-independent Generalization Bounds for SGLD in Non-convex Settings [23.833787505938858]
  分離性およびユークリッド勾配射影の仮定に基づき,ランゲヴィン力学(SGLD)の一般化誤差境界を一定の学習率で確立する。 我々の分析は、異なる離散化法を使用する変種や、非is-is-noiseプロジェクションを使用する変種もサポートする。
  論文  参考訳（メタデータ） (2021-11-25T02:31:52Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin Dynamics [27.097121544378528]
  グラディエント・ランゲヴィン・ダイナミクス (Gradient Langevin Dynamics, SGLD) は、非目的勾配を最適化する強力なアルゴリズムである。 NSGLDは非可逆拡散の離散化に基づいている。
  論文  参考訳（メタデータ） (2020-04-06T17:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。