論文の概要: Random Coordinate Langevin Monte Carlo

• arxiv url: http://arxiv.org/abs/2010.01405v1
• Date: Sat, 3 Oct 2020 18:18:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 08:53:33.610706
• Title: Random Coordinate Langevin Monte Carlo
• Title（参考訳）: Random Coordinate Langevin Monte Carlo
• Authors: Zhiyan Ding and Qin Li and Jianfeng Lu and Stephen J. Wright
• Abstract要約: ランゲヴィン・モンテカルロ(Langevin Monte Carlo、LMC)は、マルコフ連鎖モンテカルロサンプリング法である。 ランダムコーディネート LMC という新しいサンプリング手法を提案する。
• 参考スコア（独自算出の注目度）: 20.423417125810868
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Langevin Monte Carlo (LMC) is a popular Markov chain Monte Carlo sampling method. One drawback is that it requires the computation of the full gradient at each iteration, an expensive operation if the dimension of the problem is high. We propose a new sampling method: Random Coordinate LMC (RC-LMC). At each iteration, a single coordinate is randomly selected to be updated by a multiple of the partial derivative along this direction plus noise, and all other coordinates remain untouched. We investigate the total complexity of RC-LMC and compare it with the classical LMC for log-concave probability distributions. When the gradient of the log-density is Lipschitz, RC-LMC is less expensive than the classical LMC if the log-density is highly skewed for high dimensional problems, and when both the gradient and the Hessian of the log-density are Lipschitz, RC-LMC is always cheaper than the classical LMC, by a factor proportional to the square root of the problem dimension. In the latter case, our estimate of complexity is sharp with respect to the dimension.
• Abstract（参考訳）: ランゲヴィン・モンテカルロ(Langevin Monte Carlo、LMC)は、マルコフ連鎖モンテカルロサンプリング法である。 1つの欠点は、各繰り返しにおける全勾配の計算を必要とすることである。 提案手法は, ランダムコーディネート LMC (RC-LMC) である。 各イテレーションで、1つの座標がランダムに選択され、この方向とノイズに沿って部分微分の倍数で更新され、他の全ての座標は未修正のままである。 本研究では,rc-lmcの全複雑性を調査し,ログコンケーブ確率分布の古典的lmcと比較する。 対数密度の勾配がリプシッツであるとき、対数密度が高次元問題に対して高度に歪んだ場合、RC-LMC は古典的 LMC よりも安価であり、また、対数密度の勾配とヘシアンの両方がリプシッツであるとき、RC-LMC は古典的 LMC よりも常に安い。 後者の場合、我々の複雑性の見積もりは次元に関して鋭い。

関連論文リスト

• SMC Is All You Need: Parallel Strong Scaling [0.695967916921061]
  並列高強度スケーリングを実現するための完全並列シーケンシャルモンテカルロ法(pSMC)を開発した。 pSMC は無限小精度 MSE$=O(varepsilon2)$ に収束し、固定された有限時間複素度コスト=O(1)$ であり、効率リークがない。
  論文  参考訳（メタデータ） (2024-02-09T04:13:38Z)
• On the Parallel Complexity of Multilevel Monte Carlo in Stochastic Gradient Descent [0.8158530638728501]
  ニューラル微分方程式において、マルチレベルカルロ法(MLMC法)は、単純モンテカルロ法よりも理論的に複雑であることが知られている。 本稿では,以前に計算した部品によるシーケンシャルCリサイクルの並列化を劇的に低減する遅延勾配推定器を提案する。 提案した推定器は, 摂食収束率をわずかに低下させるコストで, 勾配当たりの平均並列複雑性を確実に低減する。
  論文  参考訳（メタデータ） (2023-10-03T19:53:12Z)
• Gaussian process regression and conditional Karhunen-Lo\'{e}ve models for data assimilation in inverse problems [68.8204255655161]
  偏微分方程式モデルにおけるデータ同化とパラメータ推定のためのモデル逆アルゴリズムCKLEMAPを提案する。 CKLEMAP法は標準的なMAP法に比べてスケーラビリティがよい。
  論文  参考訳（メタデータ） (2023-01-26T18:14:12Z)
• Optimization-based Block Coordinate Gradient Coding for Mitigating Partial Stragglers in Distributed Learning [58.91954425047425]
  本稿では,分散学習における部分トラグラーの緩和を目的とした,新たな勾配符号化方式を提案する。 L の符号パラメータを L に表わした勾配座標符号化方式を提案する。
  論文  参考訳（メタデータ） (2022-06-06T09:25:40Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Reward-Free RL is No Harder Than Reward-Aware RL in Linear Markov Decision Processes [61.11090361892306]
  Reward-free reinforcement learning (RL) は、エージェントが探索中に報酬関数にアクセスできないような環境を考える。 この分離は線形MDPの設定には存在しないことを示す。 我々は$d$次元線形 MDP における報酬のない RL に対する計算効率の良いアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-01-26T22:09:59Z)
• Mean-Square Analysis with An Application to Optimal Dimension Dependence of Langevin Monte Carlo [60.785586069299356]
  この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。 我々の理論解析は数値実験によってさらに検証される。
  論文  参考訳（メタデータ） (2021-09-08T18:00:05Z)
• Random Coordinate Underdamped Langevin Monte Carlo [20.423417125810868]
  アンダーダムド・ランゲヴィン・モンテカルロ(Underdamped Langevin Monte Carlo、ULMC)は、マルコフ連鎖モンテカルロサンプリング法である。 本稿では,Random Coordinate ULMC (RC-ULMC) と呼ばれるサンプリング手法を提案する。 RC-ULMCは従来のULMCよりも常に安価であり,高いスキュードと高次元の場合にはコストが大幅に削減されることを示した。
  論文  参考訳（メタデータ） (2020-10-22T01:12:13Z)
• Langevin Monte Carlo: random coordinate descent and variance reduction [7.464874233755718]
  Langevin Monte Carlo (LMC) はベイジアンサンプリング法として人気がある。 LMC上でのRCD(ランダム座標降下)の適用により計算効率を向上させる方法について検討する。
  論文  参考訳（メタデータ） (2020-07-26T18:14:36Z)
• Variance reduction for Random Coordinate Descent-Langevin Monte Carlo [7.464874233755718]
  高速収束を提供するランゲヴィン・モンテカルロ(LMC)は勾配近似の計算を必要とする。 実際には、有限差分近似を代理として使用し、高次元では高価である。 本稿では,新しい分散低減手法であるCoordinates Averaging Descent (RCAD)を導入し,過度に損傷を受けたLCCと過度に損傷を受けたLCCを併用する。
  論文  参考訳（メタデータ） (2020-06-10T21:08:38Z)
• Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
  非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
  論文  参考訳（メタデータ） (2020-06-04T17:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。