論文の概要: Variance reduction for Random Coordinate Descent-Langevin Monte Carlo

• arxiv url: http://arxiv.org/abs/2006.06068v4
• Date: Thu, 22 Oct 2020 01:18:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 05:15:04.204998
• Title: Variance reduction for Random Coordinate Descent-Langevin Monte Carlo
• Title（参考訳）: ランダム座標Descent-Langevin Monte Carloの可変化
• Authors: Zhiyan Ding and Qin Li
• Abstract要約: 高速収束を提供するランゲヴィン・モンテカルロ(LMC)は勾配近似の計算を必要とする。 実際には、有限差分近似を代理として使用し、高次元では高価である。 本稿では,新しい分散低減手法であるCoordinates Averaging Descent (RCAD)を導入し,過度に損傷を受けたLCCと過度に損傷を受けたLCCを併用する。
• 参考スコア（独自算出の注目度）: 7.464874233755718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling from a log-concave distribution function is one core problem that has wide applications in Bayesian statistics and machine learning. While most gradient free methods have slow convergence rate, the Langevin Monte Carlo (LMC) that provides fast convergence requires the computation of gradients. In practice one uses finite-differencing approximations as surrogates, and the method is expensive in high-dimensions. A natural strategy to reduce computational cost in each iteration is to utilize random gradient approximations, such as random coordinate descent (RCD) or simultaneous perturbation stochastic approximation (SPSA). We show by a counter-example that blindly applying RCD does not achieve the goal in the most general setting. The high variance induced by the randomness means a larger number of iterations are needed, and this balances out the saving in each iteration. We then introduce a new variance reduction approach, termed Randomized Coordinates Averaging Descent (RCAD), and incorporate it with both overdamped and underdamped LMC. The methods are termed RCAD-O-LMC and RCAD-U-LMC respectively. The methods still sit in the random gradient approximation framework, and thus the computational cost in each iteration is low. However, by employing RCAD, the variance is reduced, so the methods converge within the same number of iterations as the classical overdamped and underdamped LMC. This leads to a computational saving overall.
• Abstract（参考訳）: ログ・コンケーブ分布関数からのサンプリングはベイズ統計学や機械学習に広く応用されるコア問題である。 ほとんどの勾配自由法は収束速度が遅いが、高速収束を提供するランゲヴィン・モンテカルロ (LMC) は勾配の計算を必要とする。 実際には、有限差分近似を代理として使用し、高次元では高価である。 各イテレーションの計算コストを削減する自然な戦略は、ランダム座標降下(rcd)や同時摂動確率近似(spsa)のようなランダム勾配近似を利用することである。 盲目的にRCDを適用すると、最も一般的な設定では目標を達成できない反例を示す。 ランダム性によって引き起こされる高い分散は、より多くのイテレーションが必要であり、これによって各イテレーションの節約のバランスが取れます。 次に,無作為座標平均降下法(rcad)と呼ばれる新しい分散低減法を導入し,過減衰および過減衰lmcと組み込む。 RCAD-O-LMCとRCAD-U-LMCと呼ばれる。 これらの手法は依然としてランダム勾配近似の枠組みに置かれており、各反復の計算コストは低い。 しかし、rcadを使用することで分散が減少するので、従来の過減衰および過減衰したlmcと同じ反復数に収束する。 これは全体として計算の節約につながる。

関連論文リスト

• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Smoothing ADMM for Sparse-Penalized Quantile Regression with Non-Convex Penalties [8.294148737585543]
  本稿では,非二次絶対および非平滑収束ペナルティの存在下での凹凸および切断された量子レグレッションについて検討する。 本稿では,スパース回帰に特化してSIADと呼ばれるペナルティ乗算器が増加する新しいループADMアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-04T21:48:51Z)
• Hessian Averaging in Stochastic Newton Methods Achieves Superlinear Convergence [69.65563161962245]
  ニュートン法を用いて,滑らかで強凸な目的関数を考える。 最適段階において局所収束に遷移する普遍重み付き平均化スキームが存在することを示す。
  論文  参考訳（メタデータ） (2022-04-20T07:14:21Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• Langevin Monte Carlo: random coordinate descent and variance reduction [7.464874233755718]
  Langevin Monte Carlo (LMC) はベイジアンサンプリング法として人気がある。 LMC上でのRCD(ランダム座標降下)の適用により計算効率を向上させる方法について検討する。
  論文  参考訳（メタデータ） (2020-07-26T18:14:36Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
  本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。 我々は、測定値の低減を行う降下ステップを適応的に選択する。 これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
  論文  参考訳（メタデータ） (2020-06-02T17:52:59Z)
• Dual Stochastic Natural Gradient Descent and convergence of interior half-space gradient approximations [0.0]
  多項ロジスティック回帰(MLR)は統計学や機械学習で広く使われている。 勾配降下(SGD)は、ビッグデータシナリオにおけるMLRモデルのパラメータを決定する最も一般的な手法である。
  論文  参考訳（メタデータ） (2020-01-19T00:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。