Fugu-MT 論文翻訳(概要): Stochastic Gradient Langevin Dynamics with Variance Reduction

論文の概要: Stochastic Gradient Langevin Dynamics with Variance Reduction

arxiv url: http://arxiv.org/abs/2102.06759v1
Date: Fri, 12 Feb 2021 20:22:56 GMT
ステータス: 処理完了
システム内更新日: 2021-02-16 15:24:15.191485
Title: Stochastic Gradient Langevin Dynamics with Variance Reduction
Title（参考訳）: ばらつき低減を伴う確率勾配ランゲヴィンダイナミクス
Authors: Zhishen Huang, Stephen Becker
Abstract要約: 勾配ランゲヴィンダイナミクス(SGLD)は、グローバル最適化研究者の注目を集めている。本稿では,加速度特性の低減による非目的関数の改善を実証する。
参考スコア（独自算出の注目度）: 6.243995448840211
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Stochastic gradient Langevin dynamics (SGLD) has gained the attention of optimization researchers due to its global optimization properties. This paper proves an improved convergence property to local minimizers of nonconvex objective functions using SGLD accelerated by variance reductions. Moreover, we prove an ergodicity property of the SGLD scheme, which gives insights on its potential to find global minimizers of nonconvex objectives.
Abstract（参考訳）: 確率勾配ランゲヴィンダイナミクス(SGLD)は、その大域的な最適化特性から最適化研究者の注目を集めている。本稿では,分散化によって加速されたSGLDを用いた非凸客観的関数の局所最小化に対する収束性の改善を実証する。さらに、SGLDスキームのエルゴジティ特性を証明し、非凸目標のグローバル最小化の可能性について洞察します。

関連論文リスト

Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文参考訳（メタデータ） (2022-09-19T18:48:00Z)
Optimization-Induced Graph Implicit Nonlinear Diffusion [64.39772634635273]
我々はGIND(Graph Implicit Diffusion)と呼ばれる新しいグラフ畳み込み変種を提案する。 GINDは暗黙的に隣人の無限のホップにアクセスでき、非線型拡散を伴う特徴を適応的に集約することで過度な平滑化を防いでいる。学習された表現は、明示的な凸最適化目標の最小化として定式化できることを示す。
論文参考訳（メタデータ） (2022-06-29T06:26:42Z)
Low-Precision Stochastic Gradient Langevin Dynamics [70.69923368584588]
本稿では,低精度のグラジエントランゲヴィンダイナミクスを初めて研究し,性能を犠牲にすることなくコストを大幅に削減できることを示した。本研究では,各更新ステップの分散を保存したSGLDの新しい量子化関数を開発する。我々は,低精度のSGLDが,様々なディープラーニングタスクにおいて8ビットしか持たない完全精度のSGLDに匹敵する性能を実現することを実証した。
論文参考訳（メタデータ） (2022-06-20T17:25:41Z)
Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文参考訳（メタデータ） (2022-03-30T11:39:00Z)
On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。理論的にも経験的にも二重降下現象を観察する。
論文参考訳（メタデータ） (2021-10-13T17:47:39Z)
Local SGD Optimizes Overparameterized Neural Networks in Polynomial Time [15.04034188283642]
局所(S)GD(またはFedAvg)は、Rectified Linear Unit(ReLU)アクティベーション機能を持つ2層ニューラルネットワークを最適化することができる。 ReLUネットワークは勾配リプシッツ性を認めていないが、局所モデルと平均モデルとの勾配差はそれほど変化しない。
論文参考訳（メタデータ） (2021-07-22T18:06:33Z)
The Sobolev Regularization Effect of Stochastic Gradient Descent [8.193914488276468]
平坦なミニマはモデル関数の勾配を正則化するので、平坦なミニマの優れた性能が説明できる。また、勾配雑音の高次モーメントについても検討し、グローバル・ミニマ周辺でのSGDの線形解析により、グラディエント・ダセント(SGD)がこれらのモーメントに制約を課す傾向があることを示す。
論文参考訳（メタデータ） (2021-05-27T21:49:21Z)
Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文参考訳（メタデータ） (2020-10-19T15:23:18Z)
Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin Dynamics [27.097121544378528]
グラディエント・ランゲヴィン・ダイナミクス (Gradient Langevin Dynamics, SGLD) は、非目的勾配を最適化する強力なアルゴリズムである。 NSGLDは非可逆拡散の離散化に基づいている。
論文参考訳（メタデータ） (2020-04-06T17:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。