論文の概要: Efficient constrained sampling via the mirror-Langevin algorithm
- arxiv url: http://arxiv.org/abs/2010.16212v2
- Date: Mon, 25 Oct 2021 17:53:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-01 17:38:32.632470
- Title: Efficient constrained sampling via the mirror-Langevin algorithm
- Title(参考訳): mirror-langevinアルゴリズムによる効率的な制約付きサンプリング
- Authors: Kwangjun Ahn, Sinho Chewi
- Abstract要約: 本稿では,ミラー・ランジュバン拡散の新しい離散化を提案し,その収束のクリップな証明を与える。
コンパクトな集合に支持された対数凹分布からサンプリングする作業において,我々の理論的結果は既存の保証よりもはるかに優れている。
- 参考スコア(独自算出の注目度): 9.061408029414455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a new discretization of the mirror-Langevin diffusion and give a
crisp proof of its convergence. Our analysis uses relative convexity/smoothness
and self-concordance, ideas which originated in convex optimization, together
with a new result in optimal transport that generalizes the displacement
convexity of the entropy. Unlike prior works, our result both (1) requires much
weaker assumptions on the mirror map and the target distribution, and (2) has
vanishing bias as the step size tends to zero. In particular, for the task of
sampling from a log-concave distribution supported on a compact set, our
theoretical results are significantly better than the existing guarantees.
- Abstract(参考訳): 本稿では,ミラー-ランジュバン拡散の新しい離散化を提案し,その収束の明快な証明を与える。
本分析では, 相対凸性/平滑性, 自己一致性, 凸最適化に端を発するアイデア, エントロピーの変位凸性を一般化する最適輸送の新たな結果を用いる。
従来の研究と異なり、この結果は(1)ミラーマップと対象分布のより弱い仮定を必要とし、(2)ステップサイズがゼロになる傾向にあるため、バイアスは消失する。
特に,コンパクト集合上で支持される対数凸分布からサンプリングするタスクでは,理論的な結果が既存の保証よりも有意に優れている。
関連論文リスト
- Non-asymptotic Convergence of Discrete-time Diffusion Models: New
Approach and Improved Rate [54.596887384531236]
我々は離散時間拡散モデルの下で、分布のかなり大きなクラスに対する収束保証を確立する。
パラメータ依存を明示した分布の興味深いクラスに対して,結果の専門化を行う。
本稿では,新しい加速サンプリング器を提案し,対応する正則サンプリング器の収束率を桁違いに向上することを示す。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳(メタデータ) (2023-12-02T13:01:29Z) - Mirror Descent with Relative Smoothness in Measure Spaces, with
application to Sinkhorn and EM [11.007661197604065]
本稿では,無限次元環境下でのミラー降下アルゴリズムの収束性について検討する。
結果が結合分布とクルバック-リーブラー分岐に適用され、シンクホーンの最適輸送に対する原始的な反復がミラー降下に対応することを示す。
論文 参考訳(メタデータ) (2022-06-17T16:19:47Z) - Hard Negative Sampling via Regularized Optimal Transport for Contrastive
Representation Learning [13.474603286270836]
本研究では、教師なしコントラスト表現学習のためのハードネガティブサンプリング分布の設計問題について検討する。
本稿では,最大(Worst-case)一般化されたコントラスト学習損失を最小限に抑える表現を求める新しいmin-maxフレームワークの提案と解析を行う。
論文 参考訳(メタデータ) (2021-11-04T21:25:24Z) - Sinkhorn Distributionally Robust Optimization [15.194516549163245]
一般名詞分布,輸送コスト,損失関数に対する凸プログラミング二重再構成を導出する。
Wasserstein DROと比較して,提案手法はより広範な損失関数のクラスに対して,計算的トラクタビリティの向上を提供する。
論文 参考訳(メタデータ) (2021-09-24T12:40:48Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Exponential ergodicity of mirror-Langevin diffusions [16.012656579770827]
我々はNewton-Langevin拡散と呼ばれる拡散のクラスを提案し、それらが指数関数的に定常性に収束することを証明した。
本研究では, 内部点法に着想を得た戦略を用いて, 凸体上の均一分布からのサンプリング問題に適用する。
論文 参考訳(メタデータ) (2020-05-19T18:00:52Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳(メタデータ) (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。