論文の概要: From Optimization to Sampling via Lyapunov Potentials

• arxiv url: http://arxiv.org/abs/2410.02979v2
• Date: Sun, 17 Nov 2024 20:31:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:30:21.937480
• Title: From Optimization to Sampling via Lyapunov Potentials
• Title（参考訳）: リアプノフポテンシャルによる最適化からサンプリングへ
• Authors: August Y. Chen, Karthik Sridharan,
• Abstract要約: 本稿では,Langevin Dynamics を用いた高次元分布からのサンプリング問題について検討する。 非対数凹凸密度の新しいクラスから効率的にサンプルを採取できることを示す。
• 参考スコア（独自算出の注目度）: 8.687754908398079
• License:
• Abstract: We study the problem of sampling from high-dimensional distributions using Langevin Dynamics, a natural and popular variant of Gradient Descent where at each step, appropriately scaled Gaussian noise is added. The similarities between Langevin Dynamics and Gradient Flow and Gradient Descent leads to the natural question: if the distribution's log-density can be optimized from all initializations via Gradient Flow and Gradient Descent, given oracle access to the gradients, can we efficiently sample from the distribution using discrete-time Langevin Dynamics? We answer this question in the affirmative for distributions that are unimodal in a particular sense, at low but appropriate temperature levels natural in the context of both optimization and real-world applications, under mild regularity assumptions on the measure and the convergence rate of Gradient Flow. We do so by using the results of De Sa, Kale, Lee, Sekhari, and Sridharan (2022) that the success of optimization implies particular geometric properties involving a \textit{Lyapunov Potential}. These geometric properties from optimization in turn give us strong quantitative control over isoperimetric constants of the measure. As a corollary, we show we can efficiently sample from several new natural and interesting classes of non-log-concave densities, an important setting where we have relatively few examples. Another corollary is efficient discrete-time sampling results for log-concave measures satisfying milder regularity conditions than smoothness, results similar to the work of Lehec (2023).
• Abstract（参考訳）: グラディエントDescentの自然・ポピュラーな変種であるLangevin Dynamicsを用いて,高次元分布からのサンプリング問題について検討し,各ステップで適切なスケールのガウス雑音を付加する。 グラジエント・フローとグラジエント・ダイナミックス(Gradient Flow)とグラジエント・ダイスン(Gradient Descent)の類似性は、自然の疑問に繋がる: グラジエント・フロー(Gradient Flow)とグラジエント・ダイスン(Gradient Descent)を経由したすべての初期化から、分散の対数密度を最適化できれば、グラジエント・フロー(Gradient Flow)とグラジエント・ダイスン(Gradient Descent)は、勾配へのオラクルアクセスを与えられた場合、離散時間ランジエント・ダイナミクス(Langevin Dynamics)を使用して分散から効率的にサンプリングすることができるか? 本論では, 最適化と実世界の双方の応用の文脈において, 勾配流の測度と収束率の軽度な規則性仮定の下で, 低温かつ適切な温度レベルで, 特定の意味で不定値な分布について, この疑問に答える。 私たちは、De Sa, Kale, Lee, Sekhari, and Sridharan (2022) の結果を用いて、最適化の成功は \textit{Lyapunov potential} を含む特定の幾何学的性質を暗示する。 これらの最適化から得られる幾何学的性質は、測度の等尺定数に対する強い量的制御を与える。 結論として, 比較的少数の実例が存在する重要な環境である非対数凹凸密度の新しい自然および興味深いクラスから, 効率的にサンプルを採取できることが示される。 もう一つは、滑らかさよりも穏やかな規則性条件を満たす対数凹凸測度に対する効率的な離散時間サンプリング結果であり、これはLehec (2023) の成果と類似している。

関連論文リスト

• Faster Sampling via Stochastic Gradient Proximal Sampler [28.422547264326468]
  非log-concave分布からのサンプリングのための近位サンプリング器 (SPS) について検討した。 対象分布への収束性は,アルゴリズムの軌道が有界である限り保証可能であることを示す。 我々は、Langevin dynamics(SGLD)とLangevin-MALAの2つの実装可能な変種を提供し、SPS-SGLDとSPS-MALAを生み出した。
  論文  参考訳（メタデータ） (2024-05-27T00:53:18Z)
• Robust Stochastic Optimization via Gradient Quantile Clipping [6.2844649973308835]
  グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。 通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。 本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
  論文  参考訳（メタデータ） (2023-09-29T15:24:48Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Sensing Cox Processes via Posterior Sampling and Positive Bases [56.82162768921196]
  本研究では,空間統計学から広く用いられている点過程の適応センシングについて検討する。 我々は、この強度関数を、特別に構築された正の基底で表される、歪んだガウス過程のサンプルとしてモデル化する。 我々の適応センシングアルゴリズムはランゲヴィン力学を用いており、後続サンプリング(textscCox-Thompson)と後続サンプリング(textscTop2)の原理に基づいている。
  論文  参考訳（メタデータ） (2021-10-21T14:47:06Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。