論文の概要: From Optimization to Sampling via Lyapunov Potentials
- arxiv url: http://arxiv.org/abs/2410.02979v1
- Date: Thu, 03 Oct 2024 20:40:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 15:11:11.246384
- Title: From Optimization to Sampling via Lyapunov Potentials
- Title(参考訳): リアプノフポテンシャルによる最適化からサンプリングへ
- Authors: August Y. Chen, Karthik Sridharan,
- Abstract要約: 本稿では,Langevin Dynamics を用いた高次元分布からのサンプリング問題について検討する。
非対数凹凸密度の新しい自然クラスと興味深いクラスをサンプルとして示す。
- 参考スコア(独自算出の注目度): 8.687754908398079
- License:
- Abstract: We study the problem of sampling from high-dimensional distributions using Langevin Dynamics, a natural and popular variant of Gradient Descent where at each step, appropriately scaled Gaussian noise is added. The similarities between Langevin Dynamics and Gradient Descent leads to the natural question: if the distribution's log-density can be optimized from all initializations via Gradient Descent, given oracle access to the gradients, can we sample from the distribution using Langevin Dynamics? We answer this question in the affirmative, at low but appropriate temperature levels natural in the context of both optimization and real-world applications. As a corollary, we show we can sample from several new natural and interesting classes of non-log-concave densities, an important setting where we have relatively few examples.
- Abstract(参考訳): グラディエントDescentの自然・ポピュラーな変種であるLangevin Dynamicsを用いて,高次元分布からのサンプリング問題について検討し,各ステップで適切なスケールのガウス雑音を付加する。
Langevin Dynamics と Gradient Descent の類似性は自然問題に繋がる: もし分布の対数密度が、勾配へのオラクルアクセスを与えられた Gradient Descent を通じてすべての初期化から最適化できるなら、Langevin Dynamics を使って分布からサンプリングできるだろうか?
我々は、最適化と実世界の両方の応用の文脈で自然に、低いが適切な温度で、肯定的に、この疑問に答える。
結論として、我々は、比較的少数の例がある重要な設定である、非ログ凹凸密度の新しい自然クラスと興味深いクラスからサンプルを採取できることを示します。
関連論文リスト
- On the Mode-Seeking Properties of Langevin Dynamics [9.831489366502302]
マルチモーダル分布からのサンプル生成におけるLangevin Dynamicsについて検討する。
本稿では,データベクトルを一定サイズのパッチに分割し,前回のパッチで逐次条件付きパッチを生成するChained Langevin Dynamicsを提案する。
合成および実画像データセットに関する数値実験の結果について述べる。
論文 参考訳(メタデータ) (2024-06-04T06:57:12Z) - Faster Sampling via Stochastic Gradient Proximal Sampler [28.422547264326468]
非log-concave分布からのサンプリングのための近位サンプリング器 (SPS) について検討した。
対象分布への収束性は,アルゴリズムの軌道が有界である限り保証可能であることを示す。
我々は、Langevin dynamics(SGLD)とLangevin-MALAの2つの実装可能な変種を提供し、SPS-SGLDとSPS-MALAを生み出した。
論文 参考訳(メタデータ) (2024-05-27T00:53:18Z) - Mean-Field Microcanonical Gradient Descent [0.09558392439655014]
マイクロカノニカル勾配降下はエネルギーモデルのためのサンプリング手順である。
我々は、不必要な量のエントロピーを失うことによって、しばしば過度に適合することを示す。
弱結合した複数のデータポイントを同時にサンプリングする平均場マイクロカノニカル勾配勾配について提案する。
論文 参考訳(メタデータ) (2024-03-13T09:22:30Z) - Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。
バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。
特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文 参考訳(メタデータ) (2023-09-07T16:55:50Z) - Convergence of mean-field Langevin dynamics: Time and space
discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。
近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。
有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文 参考訳(メタデータ) (2023-06-12T16:28:11Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳(メタデータ) (2022-03-30T11:39:00Z) - Sensing Cox Processes via Posterior Sampling and Positive Bases [56.82162768921196]
本研究では,空間統計学から広く用いられている点過程の適応センシングについて検討する。
我々は、この強度関数を、特別に構築された正の基底で表される、歪んだガウス過程のサンプルとしてモデル化する。
我々の適応センシングアルゴリズムはランゲヴィン力学を用いており、後続サンプリング(textscCox-Thompson)と後続サンプリング(textscTop2)の原理に基づいている。
論文 参考訳(メタデータ) (2021-10-21T14:47:06Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳(メタデータ) (2020-10-19T15:23:18Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳(メタデータ) (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。