論文の概要: From Optimization to Sampling via Lyapunov Potentials

• arxiv url: http://arxiv.org/abs/2410.02979v2
• Date: Sun, 17 Nov 2024 20:31:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:30:21.937480
• Title: From Optimization to Sampling via Lyapunov Potentials
• Title（参考訳）: リアプノフポテンシャルによる最適化からサンプリングへ
• Authors: August Y. Chen, Karthik Sridharan,
• Abstract要約: 本稿では,Langevin Dynamics を用いた高次元分布からのサンプリング問題について検討する。 非対数凹凸密度の新しいクラスから効率的にサンプルを採取できることを示す。
• 参考スコア（独自算出の注目度）: 8.687754908398079
• License:
• Abstract: We study the problem of sampling from high-dimensional distributions using Langevin Dynamics, a natural and popular variant of Gradient Descent where at each step, appropriately scaled Gaussian noise is added. The similarities between Langevin Dynamics and Gradient Flow and Gradient Descent leads to the natural question: if the distribution's log-density can be optimized from all initializations via Gradient Flow and Gradient Descent, given oracle access to the gradients, can we efficiently sample from the distribution using discrete-time Langevin Dynamics? We answer this question in the affirmative for distributions that are unimodal in a particular sense, at low but appropriate temperature levels natural in the context of both optimization and real-world applications, under mild regularity assumptions on the measure and the convergence rate of Gradient Flow. We do so by using the results of De Sa, Kale, Lee, Sekhari, and Sridharan (2022) that the success of optimization implies particular geometric properties involving a \textit{Lyapunov Potential}. These geometric properties from optimization in turn give us strong quantitative control over isoperimetric constants of the measure. As a corollary, we show we can efficiently sample from several new natural and interesting classes of non-log-concave densities, an important setting where we have relatively few examples. Another corollary is efficient discrete-time sampling results for log-concave measures satisfying milder regularity conditions than smoothness, results similar to the work of Lehec (2023).
• Abstract（参考訳）: グラディエントDescentの自然・ポピュラーな変種であるLangevin Dynamicsを用いて,高次元分布からのサンプリング問題について検討し,各ステップで適切なスケールのガウス雑音を付加する。 グラジエント・フローとグラジエント・ダイナミックス(Gradient Flow)とグラジエント・ダイスン(Gradient Descent)の類似性は、自然の疑問に繋がる: グラジエント・フロー(Gradient Flow)とグラジエント・ダイスン(Gradient Descent)を経由したすべての初期化から、分散の対数密度を最適化できれば、グラジエント・フロー(Gradient Flow)とグラジエント・ダイスン(Gradient Descent)は、勾配へのオラクルアクセスを与えられた場合、離散時間ランジエント・ダイナミクス(Langevin Dynamics)を使用して分散から効率的にサンプリングすることができるか? 本論では, 最適化と実世界の双方の応用の文脈において, 勾配流の測度と収束率の軽度な規則性仮定の下で, 低温かつ適切な温度レベルで, 特定の意味で不定値な分布について, この疑問に答える。 私たちは、De Sa, Kale, Lee, Sekhari, and Sridharan (2022) の結果を用いて、最適化の成功は \textit{Lyapunov potential} を含む特定の幾何学的性質を暗示する。 これらの最適化から得られる幾何学的性質は、測度の等尺定数に対する強い量的制御を与える。 結論として, 比較的少数の実例が存在する重要な環境である非対数凹凸密度の新しい自然および興味深いクラスから, 効率的にサンプルを採取できることが示される。 もう一つは、滑らかさよりも穏やかな規則性条件を満たす対数凹凸測度に対する効率的な離散時間サンプリング結果であり、これはLehec (2023) の成果と類似している。

関連論文リスト

• On the Mode-Seeking Properties of Langevin Dynamics [9.831489366502302]
  マルチモーダル分布からのサンプル生成におけるLangevin Dynamicsについて検討する。 本稿では,データベクトルを一定サイズのパッチに分割し,前回のパッチで逐次条件付きパッチを生成するChained Langevin Dynamicsを提案する。 合成および実画像データセットに関する数値実験の結果について述べる。
  論文  参考訳（メタデータ） (2024-06-04T06:57:12Z)
• Faster Sampling via Stochastic Gradient Proximal Sampler [28.422547264326468]
  非log-concave分布からのサンプリングのための近位サンプリング器 (SPS) について検討した。 対象分布への収束性は,アルゴリズムの軌道が有界である限り保証可能であることを示す。 我々は、Langevin dynamics(SGLD)とLangevin-MALAの2つの実装可能な変種を提供し、SPS-SGLDとSPS-MALAを生み出した。
  論文  参考訳（メタデータ） (2024-05-27T00:53:18Z)
• Mean-Field Microcanonical Gradient Descent [0.09558392439655014]
  マイクロカノニカル勾配降下はエネルギーモデルのためのサンプリング手順である。 我々は、不必要な量のエントロピーを失うことによって、しばしば過度に適合することを示す。 弱結合した複数のデータポイントを同時にサンプリングする平均場マイクロカノニカル勾配勾配について提案する。
  論文  参考訳（メタデータ） (2024-03-13T09:22:30Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Sensing Cox Processes via Posterior Sampling and Positive Bases [56.82162768921196]
  本研究では,空間統計学から広く用いられている点過程の適応センシングについて検討する。 我々は、この強度関数を、特別に構築された正の基底で表される、歪んだガウス過程のサンプルとしてモデル化する。 我々の適応センシングアルゴリズムはランゲヴィン力学を用いており、後続サンプリング(textscCox-Thompson)と後続サンプリング(textscTop2)の原理に基づいている。
  論文  参考訳（メタデータ） (2021-10-21T14:47:06Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。