論文の概要: Geometry-informed irreversible perturbations for accelerated convergence
of Langevin dynamics
- arxiv url: http://arxiv.org/abs/2108.08247v1
- Date: Wed, 18 Aug 2021 17:11:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-19 14:25:10.020711
- Title: Geometry-informed irreversible perturbations for accelerated convergence
of Langevin dynamics
- Title（参考訳）: 幾何学的インフォームド非可逆摂動によるランゲヴィン力学の加速収束
- Authors: Benjamin J. Zhang, Youssef M. Marzouk, Konstantinos Spiliopoulos
- Abstract要約: ベイズ計算のためのランゲヴィンアルゴリズムの収束を加速する新しい幾何学的非可逆摂動を導入する。
この新たな非可逆摂動は、幾何学を考慮しない可逆摂動よりも推定器の性能を向上させることができることを示す。
- 参考スコア（独自算出の注目度）: 1.675857332621569
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a novel geometry-informed irreversible perturbation that
accelerates convergence of the Langevin algorithm for Bayesian computation. It
is well documented that there exist perturbations to the Langevin dynamics that
preserve its invariant measure while accelerating its convergence. Irreversible
perturbations and reversible perturbations (such as Riemannian manifold
Langevin dynamics (RMLD)) have separately been shown to improve the performance
of Langevin samplers. We consider these two perturbations simultaneously by
presenting a novel form of irreversible perturbation for RMLD that is informed
by the underlying geometry. Through numerical examples, we show that this new
irreversible perturbation can improve performance of the estimator over
reversible perturbations that do not take the geometry into account. Moreover
we demonstrate that irreversible perturbations generally can be implemented in
conjunction with the stochastic gradient version of the Langevin algorithm.
Lastly, while continuous-time irreversible perturbations cannot impair the
performance of a Langevin estimator, the situation can sometimes be more
complicated when discretization is considered. To this end, we describe a
discrete-time example in which irreversibility increases both the bias and
variance of the resulting estimator.
- Abstract（参考訳）: ベイズ計算のためのランゲヴィンアルゴリズムの収束を加速する新しい幾何学的不変摂動を導入する。
ランゲヴィン力学には、その収束を加速しながら不変測度を保存する摂動が存在することがよく文書化されている。
可逆摂動と可逆摂動(例えばリーマン多様体ランゲヴィンダイナミクス(RMLD))は別々に示されており、ランゲヴィンサンプリング器の性能を向上させる。
我々は,これら2つの摂動を同時に考慮し,rmld に対する可逆摂動の新たな形態を基礎となる幾何学から知らしめることによって考察する。
数値例を通して, この新しい非可逆摂動は, 幾何学を考慮しない可逆摂動よりも, 推定器の性能を向上できることを示した。
さらに, 一般の可逆摂動はランジュバンアルゴリズムの確率的勾配バージョンと連動して実装できることを示した。
最後に、連続時間非可逆摂動はランジュバン推定器の性能を損なうことはないが、離散化を考えると状況がより複雑になることがある。
そこで,本研究では,非可逆性が生成する推定子のバイアスと分散を増加させる離散時間例について述べる。
関連論文リスト
- Fisher information dissipation for time inhomogeneous stochastic
differential equations [7.076726009680242]
時間不均一な変数微分方程式に対するリアプノフ収束解析を提供する。
3つの典型的な例は、過度に破壊された、不可逆的なドリフト、および過度に破壊されたランゲヴィン力学である。
論文 参考訳（メタデータ） (2024-02-01T21:49:50Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Convergence of mean-field Langevin dynamics: Time and space
discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。
近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。
有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文 参考訳（メタデータ） (2023-06-12T16:28:11Z) - Implicit Bias of Gradient Descent for Logistic Regression at the Edge of
Stability [69.01076284478151]
機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く
本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
論文 参考訳（メタデータ） (2023-05-19T16:24:47Z) - Transport map unadjusted Langevin algorithms: learning and discretizing perturbed samplers [1.993607565985189]
本研究では, 対象分布の正規化を前提条件とし, ランゲヴィン力学の収束を加速する輸送写像の利用について検討する。
また, トランスポートマップを非可逆摂動型 ULA に適用すると, 元の力学の幾何的不変摂動 (GiIrr) が得られることを示す。
論文 参考訳（メタデータ） (2023-02-14T18:13:19Z) - Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。
この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
論文 参考訳（メタデータ） (2021-08-05T23:04:15Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳（メタデータ） (2021-01-16T17:11:02Z) - Accelerating Convergence of Replica Exchange Stochastic Gradient MCMC
via Variance Reduction [24.794221009364772]
ノイズの多いエネルギー推定器の分散の低減について検討し、より効率的な分析を促進する。
合成実験および画像データに対する最適化および不確実性推定の最先端結果を得る。
論文 参考訳（メタデータ） (2020-10-02T16:23:35Z) - Fast Mixing of Multi-Scale Langevin Dynamics under the Manifold
Hypothesis [85.65870661645823]
我々は,Langevin次元のアルゴリズムによって,より小さなデータに依存する時間を大幅に短縮できることを示す。
第二に、サンプリング空間の高さはランゲヴィン・ダイナミクスの性能を著しく損なう。
論文 参考訳（メタデータ） (2020-06-19T14:52:40Z) - Stochastic Gradient Langevin with Delayed Gradients [29.6870062491741]
本研究では,計算に用いた遅延勾配情報による誤差が測定値の収束率に有意な影響を及ぼさないことを示す。
計算に用いた遅延勾配情報による誤差は, 測定値の収束率に有意な影響を与えず, ウォールクロック時間における高速化の可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-12T17:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。