論文の概要: Accelerating Convergence of Replica Exchange Stochastic Gradient MCMC via Variance Reduction

• arxiv url: http://arxiv.org/abs/2010.01084v2
• Date: Thu, 18 Mar 2021 16:24:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 01:23:51.095530
• Title: Accelerating Convergence of Replica Exchange Stochastic Gradient MCMC via Variance Reduction
• Title（参考訳）: ばらつき低減によるレプリカ交換確率勾配MCMCの高速化
• Authors: Wei Deng and Qi Feng and Georgios Karagiannis and Guang Lin and Faming Liang
• Abstract要約: ノイズの多いエネルギー推定器の分散の低減について検討し、より効率的な分析を促進する。 合成実験および画像データに対する最適化および不確実性推定の最先端結果を得る。
• 参考スコア（独自算出の注目度）: 24.794221009364772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Replica exchange stochastic gradient Langevin dynamics (reSGLD) has shown promise in accelerating the convergence in non-convex learning; however, an excessively large correction for avoiding biases from noisy energy estimators has limited the potential of the acceleration. To address this issue, we study the variance reduction for noisy energy estimators, which promotes much more effective swaps. Theoretically, we provide a non-asymptotic analysis on the exponential acceleration for the underlying continuous-time Markov jump process; moreover, we consider a generalized Girsanov theorem which includes the change of Poisson measure to overcome the crude discretization based on the Gr\"{o}wall's inequality and yields a much tighter error in the 2-Wasserstein ($\mathcal{W}_2$) distance. Numerically, we conduct extensive experiments and obtain the state-of-the-art results in optimization and uncertainty estimates for synthetic experiments and image data.
• Abstract（参考訳）: Replica exchange stochastic gradient Langevin dynamics (reSGLD) は非凸学習における収束を加速する公約を示しているが、ノイズエネルギー推定器からのバイアスを避けるための過度に大きな補正は加速の可能性を制限している。 この問題に対処するために,より効率的なスワップを促進するノイズエネルギー推定器の分散低減について検討する。 理論的には、基礎となる連続時間マルコフジャンプ過程の指数加速度に関する非漸近解析を提供し、さらに、Gr\"{o}wallの不等式に基づいて粗離散化を克服するポアソン測度の変化を含む一般化されたジルサノフの定理を考察し、2-ワッサーシュタイン ("\mathcal{W}_2$) 距離においてより厳密な誤差をもたらす。 数値実験を行い,合成実験と画像データの最適化と不確実性推定において,最先端の成果を得る。

関連論文リスト

• Accelerated forward-backward and Douglas-Rachford splitting dynamics [0.0]
  加速フォワード・バックワード(FB)およびダグラス・ラフフォード(DR)分割アルゴリズムの連続時間変動の収束特性について検討した。 FB分割力学では、指数収束速度の加速が一般の強い凸問題に取って代わることを示す。
  論文  参考訳（メタデータ） (2024-07-30T07:52:22Z)
• Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
  我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。 本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
  論文  参考訳（メタデータ） (2024-04-03T00:41:19Z)
• Accelerated Convergence of Stochastic Heavy Ball Method under Anisotropic Gradient Noise [16.12834917344859]
  重球運動量法は加速収束を提供し、大きなバッチ設定でうまく機能するはずだと広く推測されている。 重球運動量は, SGDの偏差項の加速収束率を$tildemathcalO(sqrtkappa)$で達成し, ほぼ最適収束率を達成できることを示した。 つまり、重い球運動量を持つSGDは、分散機械学習やフェデレーション学習のような大規模なバッチ設定で有用である。
  論文  参考訳（メタデータ） (2023-12-22T09:58:39Z)
• Non-convex Bayesian Learning via Stochastic Gradient Markov Chain Monte Carlo [4.656426393230839]
  人工知能(AI)の台頭は、非トリップと不確実性のための現代のディープニューラルネットワーク(DNN)の効率性を重視している。 本論文ではモンテカルロ利用問題を扱うためのツールを提案する。 また,基礎となる正規方程式(ODE)システムに対する2つの動的重要度サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-30T18:25:11Z)
• Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
  非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。 鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
  論文  参考訳（メタデータ） (2023-05-24T20:43:47Z)
• Computing the Variance of Shuffling Stochastic Gradient Algorithms via Power Spectral Density Analysis [6.497816402045099]
  理論上の利点を持つ勾配降下(SGD)の2つの一般的な選択肢は、ランダムリシャッフル(SGDRR)とシャッフルオンス(SGD-SO)である。 本研究では,SGD,SGDRR,SGD-SOの定常変動について検討した。
  論文  参考訳（メタデータ） (2022-06-01T17:08:04Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Accelerating Nonconvex Learning via Replica Exchange Langevin Diffusion [67.66101533752605]
  ランゲヴィン拡散は非最適化のための強力な方法である。 本稿では,Langevin拡散を異なる温度で置き換えるレプリカ交換を提案する。 レプリカ交換Langevin拡散を離散化することにより、離散時間アルゴリズムを得る。
  論文  参考訳（メタデータ） (2020-07-04T02:52:11Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。