Fugu-MT 論文翻訳(概要): Stochastic Gradient Langevin Dynamics with Variance Reduction

論文の概要: Stochastic Gradient Langevin Dynamics with Variance Reduction

arxiv url: http://arxiv.org/abs/2102.06759v1
Date: Fri, 12 Feb 2021 20:22:56 GMT
ステータス: 処理完了
システム内更新日: 2021-02-16 15:24:15.191485
Title: Stochastic Gradient Langevin Dynamics with Variance Reduction
Title（参考訳）: ばらつき低減を伴う確率勾配ランゲヴィンダイナミクス
Authors: Zhishen Huang, Stephen Becker
Abstract要約: 勾配ランゲヴィンダイナミクス(SGLD)は、グローバル最適化研究者の注目を集めている。本稿では,加速度特性の低減による非目的関数の改善を実証する。
参考スコア（独自算出の注目度）: 6.243995448840211
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Stochastic gradient Langevin dynamics (SGLD) has gained the attention of optimization researchers due to its global optimization properties. This paper proves an improved convergence property to local minimizers of nonconvex objective functions using SGLD accelerated by variance reductions. Moreover, we prove an ergodicity property of the SGLD scheme, which gives insights on its potential to find global minimizers of nonconvex objectives.
Abstract（参考訳）: 確率勾配ランゲヴィンダイナミクス(SGLD)は、その大域的な最適化特性から最適化研究者の注目を集めている。本稿では,分散化によって加速されたSGLDを用いた非凸客観的関数の局所最小化に対する収束性の改善を実証する。さらに、SGLDスキームのエルゴジティ特性を証明し、非凸目標のグローバル最小化の可能性について洞察します。

関連論文リスト

Characterizing Dynamical Stability of Stochastic Gradient Descent in Overparameterized Learning [0.0]
決定論的および勾配降下の両方に対して動的に安定かつ不安定な大域的ミニマを特徴づける。特に、大域的最小値周辺の局所力学に依存する特徴的リアプノフ指数を導入する。
論文参考訳（メタデータ） (2024-07-29T17:40:04Z)
Langevin Dynamics: A Unified Perspective on Optimization via Lyapunov Potentials [15.718093624695552]
我々は、リアプノフポテンシャルと最適化に基づいて、グラディエント・ランゲヴィン・ダイナミクス(SGLD)のグローバル・ミニマへの収束を分析する。 2) SGLD に対する最初の有限勾配複雑性、3) 連続時間ランゲヴィンダイナミクスが最適化に成功するなら、次に離散時間 SGLD が穏やかな正則性仮定の下で成功することを証明する。
論文参考訳（メタデータ） (2024-07-05T05:34:10Z)
Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文参考訳（メタデータ） (2023-06-12T16:28:11Z)
Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
論文参考訳（メタデータ） (2023-05-19T16:24:47Z)
Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文参考訳（メタデータ） (2022-09-19T18:48:00Z)
Low-Precision Stochastic Gradient Langevin Dynamics [70.69923368584588]
本稿では,低精度のグラジエントランゲヴィンダイナミクスを初めて研究し,性能を犠牲にすることなくコストを大幅に削減できることを示した。本研究では,各更新ステップの分散を保存したSGLDの新しい量子化関数を開発する。我々は,低精度のSGLDが,様々なディープラーニングタスクにおいて8ビットしか持たない完全精度のSGLDに匹敵する性能を実現することを実証した。
論文参考訳（メタデータ） (2022-06-20T17:25:41Z)
Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文参考訳（メタデータ） (2022-03-30T11:39:00Z)
On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。理論的にも経験的にも二重降下現象を観察する。
論文参考訳（メタデータ） (2021-10-13T17:47:39Z)
Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin Dynamics [27.097121544378528]
グラディエント・ランゲヴィン・ダイナミクス (Gradient Langevin Dynamics, SGLD) は、非目的勾配を最適化する強力なアルゴリズムである。 NSGLDは非可逆拡散の離散化に基づいている。
論文参考訳（メタデータ） (2020-04-06T17:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。