Fugu-MT 論文翻訳(概要): Functional Central Limit Theorem and Strong Law of Large Numbers for Stochastic Gradient Langevin Dynamics

論文の概要: Functional Central Limit Theorem and Strong Law of Large Numbers for Stochastic Gradient Langevin Dynamics

arxiv url: http://arxiv.org/abs/2210.02092v2
Date: Sat, 29 Jul 2023 06:44:06 GMT
ステータス: 処理完了
システム内更新日: 2023-08-02 00:26:17.102317
Title: Functional Central Limit Theorem and Strong Law of Large Numbers for Stochastic Gradient Langevin Dynamics
Title（参考訳）: 確率勾配ランジュバン力学における関数中心極限定理と大数の強則
Authors: Attila Lovas and Mikl\'os R\'asonyi
Abstract要約: 本研究では,機械学習の重要な最適化アルゴリズムである勾配ランゲヴィンダイナミクス(SGLD)の混合特性について検討する。我々は、大数の強い法則と、SGLDの関数中心極限定理を導出する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study the mixing properties of an important optimization algorithm of machine learning: the stochastic gradient Langevin dynamics (SGLD) with a fixed step size. The data stream is not assumed to be independent hence the SGLD is not a Markov chain, merely a \emph{Markov chain in a random environment}, which complicates the mathematical treatment considerably. We derive a strong law of large numbers and a functional central limit theorem for SGLD.
Abstract（参考訳）: 本稿では,機械学習の重要な最適化アルゴリズムである確率勾配ランゲヴィンダイナミクス(SGLD)の混合特性について検討する。データストリームは独立ではないと仮定されるので、SGLD はマルコフ連鎖ではなく、単にランダムな環境での 'emph{Markov chain' であり、数学的処理をかなり複雑にする。我々は、大数の強い法則と、SGLDの関数中心極限定理を導出する。

関連論文リスト

Algorithmic Stability of Stochastic Gradient Descent with Momentum under Heavy-Tailed Noise [20.922456964393213]
重み付き雑音下での運動量(SGDm)を持つSGDの一般化境界を確立する。二次損失関数に対して、SGDm は運動量や重みのあるテールの存在においてより悪い一般化を持つことを示す。我々の知る限り、縮退した雑音を持つSDEにおいて、その種類の最初の結果となる一様時間離散化誤差境界を開発する。
論文参考訳（メタデータ） (2025-02-02T19:25:48Z)
Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文参考訳（メタデータ） (2023-12-02T13:01:29Z)
Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文参考訳（メタデータ） (2023-06-29T01:20:44Z)
Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文参考訳（メタデータ） (2023-06-12T16:28:11Z)
On the Convergence to a Global Solution of Shuffling-Type Gradient Algorithms [18.663264755108703]
勾配降下アルゴリズム (SGD) は、多くの機械学習タスクにおいて選択の方法である。本稿では,SGDが凸設定として望まれる計算一般複雑性を達成したことを示す。
論文参考訳（メタデータ） (2022-06-13T01:25:59Z)
A Contour Stochastic Gradient Langevin Dynamics Algorithm for Simulations of Multi-modal Distributions [17.14287157979558]
ビッグデータ統計学の学習のための適応重み付き勾配ランゲヴィン力学(SGLD)を提案する。提案アルゴリズムは、CIFAR100を含むベンチマークデータセットで検証される。
論文参考訳（メタデータ） (2020-10-19T19:20:47Z)
Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文参考訳（メタデータ） (2020-10-19T15:23:18Z)
Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。本稿では,経験的リプレイに基づくアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-16T04:26:50Z)
Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin Dynamics [27.097121544378528]
グラディエント・ランゲヴィン・ダイナミクス (Gradient Langevin Dynamics, SGLD) は、非目的勾配を最適化する強力なアルゴリズムである。 NSGLDは非可逆拡散の離散化に基づいている。
論文参考訳（メタデータ） (2020-04-06T17:11:03Z)
Dimension-free convergence rates for gradient Langevin dynamics in RKHS [47.198067414691174]
グラディエントランゲヴィンダイナミクス(GLD)とSGLDは近年注目されている。空間が無限次元空間であるとき、収束解析 GLD と SGLD を提供する。
論文参考訳（メタデータ） (2020-02-29T17:14:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。