論文の概要: The Mirror Langevin Algorithm Converges with Vanishing Bias
- arxiv url: http://arxiv.org/abs/2109.12077v1
- Date: Fri, 24 Sep 2021 17:00:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-09-27 16:20:29.190725
- Title: The Mirror Langevin Algorithm Converges with Vanishing Bias
- Title（参考訳）: ミラーランゲヴィンアルゴリズムは消滅するバイアスに収束する
- Authors: Ruilin Li and Molei Tao and Santosh S. Vempala and Andre Wibisono
- Abstract要約: ミラーランゲヴィン拡散(Mirror Langevin Diffusion, MLD)は、連続時間におけるミラーフローのサンプリングアナログである。
対数ソボレフやポインの不等式の下では、ヘッセン計量に対してよい収束性を持つ。
離散時間において、MDD の単純な離散化は Zhang らによって研究された Mirror Langevin Algorithm (MLA) である。
- 参考スコア（独自算出の注目度）: 20.62223168855569
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The technique of modifying the geometry of a problem from Euclidean to
Hessian metric has proved to be quite effective in optimization, and has been
the subject of study for sampling. The Mirror Langevin Diffusion (MLD) is a
sampling analogue of mirror flow in continuous time, and it has nice
convergence properties under log-Sobolev or Poincare inequalities relative to
the Hessian metric, as shown by Chewi et al. (2020). In discrete time, a simple
discretization of MLD is the Mirror Langevin Algorithm (MLA) studied by Zhang
et al. (2020), who showed a biased convergence bound with a non-vanishing bias
term (does not go to zero as step size goes to zero). This raised the question
of whether we need a better analysis or a better discretization to achieve a
vanishing bias. Here we study the basic Mirror Langevin Algorithm and show it
indeed has a vanishing bias. We apply mean-square analysis based on Li et al.
(2019) and Li et al. (2021) to show the mixing time bound for MLA under the
modified self-concordance condition introduced by Zhang et al. (2020).
- Abstract（参考訳）: ユークリッド計量からヘッセン計量への問題の幾何学的修正技術は、最適化に非常に効果的であることが証明され、サンプリングの研究の対象となっている。
ミラーランゲヴィン拡散(英: Mirror Langevin Diffusion, MLD)は、連続時間におけるミラーフローのサンプリングアナログであり、Chewi et al. (2020) で示されるように、対数ソボレフあるいはポアンケアの不等式の下で優れた収束性を持つ。
離散時間において、mldの単純な離散化は、zhangらによって研究されたmirror langevin algorithm(mla)である(2020年)。
これにより、より良い分析が必要か、または、消滅するバイアスを達成するためにより良い判断が必要かという疑問が持ち上がった。
ここでは,基本ミラーランジュバンアルゴリズムについて検討し,バイアスが消失することを示す。
li et al. (2019) と li et al. (2021) に基づく平均二乗解析を適用し、zhang et al. (2020) によって導入された修正された自己一致条件下で mla の混合時間を示す。
関連論文リスト
- An Improved Analysis of Langevin Algorithms with Prior Diffusion for
Non-Log-Concave Sampling [27.882407333690267]
本研究では, 先行拡散を用いた改良型ランゲヴィンアルゴリズムが, 強対数対数対象分布に対して独立に次元を収束させることができることを示す。
また、修正したランゲヴィンアルゴリズムは、異なるステップサイズスケジュールを持つKL発散の次元非依存収束も得ることを証明した。
論文 参考訳（メタデータ） (2024-03-10T11:50:34Z) - Fast sampling from constrained spaces using the Metropolis-adjusted Mirror Langevin algorithm [12.405427902037971]
本稿では,コンパクトかつ凸集合を持つ分布からの近似サンプリング法を提案する。
このアルゴリズムは、ミラーランゲヴィンの単一ステップによって誘導されるマルコフ連鎖にアセプション-リジェクションフィルタを追加する。
近似的制約サンプリングの誤差耐性に対する指数関数的に優れた依存性が得られる。
論文 参考訳（メタデータ） (2023-12-14T11:11:58Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Accelerated Bayesian imaging by relaxed proximal-point Langevin sampling [4.848683707039751]
本稿では, 画像逆問題におけるベイズ推定を行うために, マルコフ近位連鎖モンテカルロ法を提案する。
モロー・ヨシダの滑らか化によって滑らかにあるいは正規化されるモデルに対しては、中間点は過度に損傷されたランゲヴィン拡散の暗黙の離散化と等価である。
kappa$-strongly log-concaveのターゲットに対しては、提供された非漸近収束解析も最適な時間ステップを特定する。
論文 参考訳（メタデータ） (2023-08-18T10:55:49Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - KL-Entropy-Regularized RL with a Generative Model is Minimax Optimal [70.15267479220691]
モデル強化学習のサンプル複雑性を,生成的分散自由モデルを用いて検討・解析する。
我々の分析は、$varepsilon$が十分小さい場合、$varepsilon$-optimal Policyを見つけるのが、ほぼ最小の最適化であることを示している。
論文 参考訳（メタデータ） (2022-05-27T19:39:24Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - Linear Convergence of Generalized Mirror Descent with Time-Dependent
Mirrors [23.738242876364865]
時間依存ミラーを用いたミラー降下の一般化のためのPLに基づく解析法を提案する。
この結果は十分な条件を確立し、ミラー降下率の収束学習を提供する。
関数に対しては、この解に対してGMDの補間解が存在することを示唆する。
論文 参考訳（メタデータ） (2020-09-18T01:05:14Z) - Linear Last-iterate Convergence in Constrained Saddle-point Optimization [48.44657553192801]
我々は、OGDA(Optimistic Gradient Descent Ascent)とOMWU(Optimistic Multiplicative Weights Update)に対する最終段階の独特さの理解を著しく拡大する。
平衡が一意である場合、線形終端収束は、値が普遍定数に設定された学習速度で達成されることを示す。
任意のポリトープ上の双線型ゲームがこの条件を満たすことを示し、OGDAは一意の平衡仮定なしで指数関数的に高速に収束することを示した。
論文 参考訳（メタデータ） (2020-06-16T20:53:04Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳（メタデータ） (2020-04-09T17:54:18Z) - Wasserstein Control of Mirror Langevin Monte Carlo [2.7145834528620236]
離散化ランゲヴィン拡散は高次元ターゲット密度からサンプリングする効率的なモンテカルロ法である。
ヘッセン型多様体上のランゲヴィン拡散を考察し、ミラー・ドネサンススキームと密接な関係を持つ離散化を研究する。
論文 参考訳（メタデータ） (2020-02-11T13:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。