論文の概要: Constrained Ensemble Langevin Monte Carlo
- arxiv url: http://arxiv.org/abs/2102.04279v1
- Date: Mon, 8 Feb 2021 15:30:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-11 02:57:52.106281
- Title: Constrained Ensemble Langevin Monte Carlo
- Title（参考訳）: 制約付きアンサンブル・ランジュバン・モンテカルロ
- Authors: Zhiyan Ding and Qin Li
- Abstract要約: 我々は、「アンサンブル」という概念を使い、多数の粒子が一緒に進化し、隣の粒子が互いに勾配情報を提供するようにしている。
適切なチューニングを行うことで、サロゲーションは合理的な数値的な節約をもたらすのに十分な頻度で行われることを示す。
適切なチューニングを行うことで、サロゲーションは合理的な数値的な節約をもたらすのに十分な頻度で行われることを示す。
- 参考スコア（独自算出の注目度）: 7.000381889390774
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The classical Langevin Monte Carlo method looks for i.i.d. samples from a
target distribution by descending along the gradient of the target
distribution. It is popular partially due to its fast convergence rate.
However, the numerical cost is sometimes high because the gradient can be hard
to obtain. One approach to eliminate the gradient computation is to employ the
concept of "ensemble", where a large number of particles are evolved together
so that the neighboring particles provide gradient information to each other.
In this article, we discuss two algorithms that integrate the ensemble feature
into LMC, and the associated properties. There are two sides of our discovery:
1. By directly surrogating the gradient using the ensemble approximation, we
develop Ensemble Langevin Monte Carlo. We show that this method is unstable due
to a potentially small denominator that induces high variance. We provide a
counterexample to explicitly show this instability.
2. We then change the strategy and enact the ensemble approximation to the
gradient only in a constrained manner, to eliminate the unstable points. The
algorithm is termed Constrained Ensemble Langevin Monte Carlo. We show that,
with a proper tuning, the surrogation takes place often enough to bring the
reasonable numerical saving, while the induced error is still low enough for us
to maintain the fast convergence rate, up to a controllable discretization and
ensemble error.
Such combination of ensemble method and LMC shed light on inventing
gradient-free algorithms that produce i.i.d. samples almost exponentially fast.
- Abstract（参考訳）: 古典的なランゲヴァン・モンテ・カルロ法はi.i.d。
ターゲット分布の勾配に沿って降下させることによるターゲット分布からのサンプル。
部分的には収束速度が速いため人気がある。
しかし、勾配を得るのが難しいため、数値的なコストが高い場合もある。
勾配計算を排除するためのアプローチの1つは、隣接する粒子が互いに勾配情報を提供するように、多数の粒子が一緒に進化する「アンサンブル」の概念を採用することである。
本稿では,アンサンブル機能をlmcに統合する2つのアルゴリズムと関連する特性について述べる。
私たちの発見には2つの側面があります。
アンサンブル近似を用いて直接勾配を推定することにより、アンサンブルランジュバンモンテカルロを開発した。
この手法は,高い分散を誘導する小さな分母によって不安定であることを示す。
我々は、この不安定性を明示的に示す反例を提供する。
2.
次に、戦略を変更し、アンサンブル近似を制約された方法でのみ勾配に変換し、不安定点を排除する。
このアルゴリズムはConstrained Ensemble Langevin Monte Carloと呼ばれている。
適切なチューニングを行うことで、適切な数値保存をもたらすのに十分な頻度でサロゲーションが行われるが、誘導誤差は、制御可能な離散化とアンサンブル誤差まで、高速な収束率を維持するのに十分な低さである。
このようなアンサンブル法とLMC法の組み合わせは、勾配のないアルゴリズムの発明に光を当てた。
ほぼ指数関数的に速いサンプル。
関連論文リスト
- Min-Max Optimization Made Simple: Approximating the Proximal Point
Method via Contraction Maps [77.8999425439444]
本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。
我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
論文 参考訳（メタデータ） (2023-01-10T12:18:47Z) - Resolving the Mixing Time of the Langevin Algorithm to its Stationary
Distribution for Log-Concave Sampling [34.66940399825547]
本稿では,Langevinアルゴリズムの定常分布に対する混合時間の特徴について述べる。
本稿では,差分プライバシー文献からサンプリング文献へのアプローチを紹介する。
論文 参考訳（メタデータ） (2022-10-16T05:11:16Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - Nesterov Accelerated Shuffling Gradient Method for Convex Optimization [15.908060383231371]
このアルゴリズムは,統一シャッフル方式を用いて,$mathcalO (1/T)$の改善率を示す。
我々の収束解析は有界領域や有界勾配条件に関する仮定を必要としない。
数値シミュレーションはアルゴリズムの効率を実証する。
論文 参考訳（メタデータ） (2022-02-07T21:23:17Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳（メタデータ） (2021-10-20T02:25:25Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Convergence of Gradient Algorithms for Nonconvex $C^{1+\alpha}$ Cost
Functions [2.538209532048867]
勾配が収束する副生成物を示し、収束率に明示的な上限を与える。
これにより、ドオブマルティンの超ガレ収束定理によるほぼ確実な収束を証明できる。
論文 参考訳（メタデータ） (2020-12-01T16:48:59Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - Langevin Monte Carlo: random coordinate descent and variance reduction [7.464874233755718]
Langevin Monte Carlo (LMC) はベイジアンサンプリング法として人気がある。
LMC上でのRCD(ランダム座標降下)の適用により計算効率を向上させる方法について検討する。
論文 参考訳（メタデータ） (2020-07-26T18:14:36Z) - Variance reduction for Random Coordinate Descent-Langevin Monte Carlo [7.464874233755718]
高速収束を提供するランゲヴィン・モンテカルロ(LMC)は勾配近似の計算を必要とする。
実際には、有限差分近似を代理として使用し、高次元では高価である。
本稿では,新しい分散低減手法であるCoordinates Averaging Descent (RCAD)を導入し,過度に損傷を受けたLCCと過度に損傷を受けたLCCを併用する。
論文 参考訳（メタデータ） (2020-06-10T21:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。