論文の概要: Taming under isoperimetry
- arxiv url: http://arxiv.org/abs/2311.09003v1
- Date: Wed, 15 Nov 2023 14:44:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 15:46:07.736508
- Title: Taming under isoperimetry
- Title(参考訳): イソペリメトリー下でのタンピング
- Authors: Iosif Lytras and Sotirios Sabanis
- Abstract要約: 本稿では,ログの増大に伴う分布のサンプル化を目的としたLangevinベースのスキームであるmathbfsTULA$を提案する。
非漸近KLを導出し、結果としてLog-Sobolevの不等式を満たす。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this article we propose a novel taming Langevin-based scheme called
$\mathbf{sTULA}$ to sample from distributions with superlinearly growing
log-gradient which also satisfy a Log-Sobolev inequality. We derive
non-asymptotic convergence bounds in $KL$ and consequently total variation and
Wasserstein-$2$ distance from the target measure. Non-asymptotic convergence
guarantees are provided for the performance of the new algorithm as an
optimizer. Finally, some theoretical results on isoperimertic inequalities for
distributions with superlinearly growing gradients are provided. Key findings
are a Log-Sobolev inequality with constant independent of the dimension, in the
presence of a higher order regularization and a Poincare inequality with
constant independent of temperature and dimension under a novel non-convex
theoretical framework.
- Abstract(参考訳): 本稿では,log-Sobolevの不等式を満たす超線形に成長する対数次数を持つ分布のサンプルとして,$\mathbf{sTULA}$というランゲヴィンに基づく新しいスキームを提案する。
我々は、kl$ の非漸近収束境界から導出し、その結果、目標測度から全変動とwasserstein-$2$ の距離を求める。
非漸近収束保証は、新しいアルゴリズムを最適化器としての性能のために提供される。
最後に、超線形に成長する勾配を持つ分布に対する等長不等式に関する理論的結果を与える。
主な発見は、温度と次元に一定の独立性を持つ対数ソボレフ不等式が、新しい非凸理論の枠組みの下で高次正規化とポアンカレの不等式が存在することである。
関連論文リスト
- Fast Convergence of $Φ$-Divergence Along the Unadjusted Langevin Algorithm and Proximal Sampler [14.34147140416535]
連続空間における2つの一般的な離散時間マルコフ連鎖の混合時間について検討する。
二つの微分可能な厳密凸函数から生じる任意の$Phi$-divergenceが、これらのマルコフ連鎖に沿って指数的に0$に収束することを示す。
論文 参考訳(メタデータ) (2024-10-14T16:41:45Z) - Provable Convergence and Limitations of Geometric Tempering for Langevin Dynamics [8.683011785637824]
幾何的テンパリングは、挑戦的な多モード確率分布からサンプリングする一般的なアプローチである。
本稿では,サンプリングアルゴリズムがランゲヴィン力学である場合のこのアプローチの音質について理論的に検討する。
以上の結果から,幾何的テンパリングは役に立たず,収束に有害である可能性が示唆された。
論文 参考訳(メタデータ) (2024-10-13T02:24:31Z) - Non-asymptotic estimates for accelerated high order Langevin Monte Carlo algorithms [8.058385158111207]
我々は,高次元対象分布からサンプルを得るために,aHOLAとaHOLLAという2つの新しいアルゴリズムを提案する。
ワッサースタイン1およびワッサースタイン2分布におけるaHOLAの非漸近収束速度を確立する。
論文 参考訳(メタデータ) (2024-05-09T11:12:03Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳(メタデータ) (2023-12-02T13:01:29Z) - Convergence and concentration properties of constant step-size SGD
through Markov chains [0.0]
定常段差勾配勾配(SGD)を用いた滑らかで強凸な目標の最適化について検討する。
緩やかに制御された分散を伴う不偏勾配推定に対して、反復は全変動距離の不変分布に収束することを示す。
全ての結果は無症状であり、その結果はいくつかのアプリケーションを通して議論されている。
論文 参考訳(メタデータ) (2023-06-20T12:36:28Z) - High-Probability Bounds for Stochastic Optimization and Variational
Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。
これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文 参考訳(メタデータ) (2023-02-02T10:37:23Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳(メタデータ) (2021-09-08T18:00:05Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳(メタデータ) (2021-05-03T16:36:27Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳(メタデータ) (2020-10-19T15:23:18Z) - Generalized Bayesian Cram\'{e}r-Rao Inequality via Information Geometry
of Relative $\alpha$-Entropy [17.746238062801293]
相対$alpha$-エントロピーは相対エントロピーのR'enyiアナログである。
この量に関する最近の情報幾何学的な研究により、クラムラー・ラオの不等式が一般化された。
エントロピー次数がユニティに近づく極限の場合、この枠組みは従来のベイズ的クラム・ラオ不等式に還元される。
論文 参考訳(メタデータ) (2020-02-11T23:38:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。