論文の概要: Taming under isoperimetry
- arxiv url: http://arxiv.org/abs/2311.09003v1
- Date: Wed, 15 Nov 2023 14:44:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 15:46:07.736508
- Title: Taming under isoperimetry
- Title(参考訳): イソペリメトリー下でのタンピング
- Authors: Iosif Lytras and Sotirios Sabanis
- Abstract要約: 本稿では,ログの増大に伴う分布のサンプル化を目的としたLangevinベースのスキームであるmathbfsTULA$を提案する。
非漸近KLを導出し、結果としてLog-Sobolevの不等式を満たす。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this article we propose a novel taming Langevin-based scheme called
$\mathbf{sTULA}$ to sample from distributions with superlinearly growing
log-gradient which also satisfy a Log-Sobolev inequality. We derive
non-asymptotic convergence bounds in $KL$ and consequently total variation and
Wasserstein-$2$ distance from the target measure. Non-asymptotic convergence
guarantees are provided for the performance of the new algorithm as an
optimizer. Finally, some theoretical results on isoperimertic inequalities for
distributions with superlinearly growing gradients are provided. Key findings
are a Log-Sobolev inequality with constant independent of the dimension, in the
presence of a higher order regularization and a Poincare inequality with
constant independent of temperature and dimension under a novel non-convex
theoretical framework.
- Abstract(参考訳): 本稿では,log-Sobolevの不等式を満たす超線形に成長する対数次数を持つ分布のサンプルとして,$\mathbf{sTULA}$というランゲヴィンに基づく新しいスキームを提案する。
我々は、kl$ の非漸近収束境界から導出し、その結果、目標測度から全変動とwasserstein-$2$ の距離を求める。
非漸近収束保証は、新しいアルゴリズムを最適化器としての性能のために提供される。
最後に、超線形に成長する勾配を持つ分布に対する等長不等式に関する理論的結果を与える。
主な発見は、温度と次元に一定の独立性を持つ対数ソボレフ不等式が、新しい非凸理論の枠組みの下で高次正規化とポアンカレの不等式が存在することである。
関連論文リスト
- Error bounds for particle gradient descent, and extensions of the
log-Sobolev and Talagrand inequalities [1.433758865948252]
対数ソボレフとポリャク-ロジャシエヴィチの不等式の両方を一般化した条件を満たすモデルに対して、流れは指数関数的に自由エネルギーの最小値の集合に収束することを示す。
また、Bakry-'Emery Theorem を一般化し、LSI/PLI の一般化が強い凹凸対を持つモデルに対して成り立つことを示す。
論文 参考訳(メタデータ) (2024-03-04T12:57:26Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳(メタデータ) (2023-12-02T13:01:29Z) - Convergence and concentration properties of constant step-size SGD
through Markov chains [0.0]
定常段差勾配勾配(SGD)を用いた滑らかで強凸な目標の最適化について検討する。
緩やかに制御された分散を伴う不偏勾配推定に対して、反復は全変動距離の不変分布に収束することを示す。
全ての結果は無症状であり、その結果はいくつかのアプリケーションを通して議論されている。
論文 参考訳(メタデータ) (2023-06-20T12:36:28Z) - High-Probability Bounds for Stochastic Optimization and Variational
Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。
これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文 参考訳(メタデータ) (2023-02-02T10:37:23Z) - Kinetic Langevin MCMC Sampling Without Gradient Lipschitz Continuity --
the Strongly Convex Case [0.0]
目的がグローバルリプシッツであると仮定することなく,ハミルトン条件下での対数凹面分布からのサンプリングを検討する。
本稿では,多角勾配(テード)オイラースキームに基づく2つのアルゴリズムを提案し,各アルゴリズムのプロセスの法則と対象測度との間の非漸近的な2-ワッサーシュタイン距離を求める。
論文 参考訳(メタデータ) (2023-01-19T12:32:41Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳(メタデータ) (2021-09-08T18:00:05Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳(メタデータ) (2021-05-03T16:36:27Z) - Wasserstein distance estimates for the distributions of numerical
approximations to ergodic stochastic differential equations [0.3553493344868413]
エルゴード微分方程式のイン分布と強い対数凸の場合の分布との間のワッサースタイン距離について検討した。
これにより、過減衰および過減衰ランジュバン力学の文献で提案されている多くの異なる近似を統一的に研究することができる。
論文 参考訳(メタデータ) (2021-04-26T07:50:04Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳(メタデータ) (2020-10-19T15:23:18Z) - Generalized Bayesian Cram\'{e}r-Rao Inequality via Information Geometry
of Relative $\alpha$-Entropy [17.746238062801293]
相対$alpha$-エントロピーは相対エントロピーのR'enyiアナログである。
この量に関する最近の情報幾何学的な研究により、クラムラー・ラオの不等式が一般化された。
エントロピー次数がユニティに近づく極限の場合、この枠組みは従来のベイズ的クラム・ラオ不等式に還元される。
論文 参考訳(メタデータ) (2020-02-11T23:38:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。