論文の概要: On the Mode-Seeking Properties of Langevin Dynamics
- arxiv url: http://arxiv.org/abs/2406.02017v1
- Date: Tue, 4 Jun 2024 06:57:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 17:40:41.954314
- Title: On the Mode-Seeking Properties of Langevin Dynamics
- Title（参考訳）: ランゲヴィンダイナミクスのモード探索特性について
- Authors: Xiwei Cheng, Kexin Fu, Farzan Farnia,
- Abstract要約: マルチモーダル分布からのサンプル生成におけるLangevin Dynamicsについて検討する。
本稿では,データベクトルを一定サイズのパッチに分割し,前回のパッチで逐次条件付きパッチを生成するChained Langevin Dynamicsを提案する。
合成および実画像データセットに関する数値実験の結果について述べる。
- 参考スコア（独自算出の注目度）: 9.831489366502302
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Langevin Dynamics framework, which aims to generate samples from the score function of a probability distribution, is widely used for analyzing and interpreting score-based generative modeling. While the convergence behavior of Langevin Dynamics under unimodal distributions has been extensively studied in the literature, in practice the data distribution could consist of multiple distinct modes. In this work, we investigate Langevin Dynamics in producing samples from multimodal distributions and theoretically study its mode-seeking properties. We prove that under a variety of sub-Gaussian mixtures, Langevin Dynamics is unlikely to find all mixture components within a sub-exponential number of steps in the data dimension. To reduce the mode-seeking tendencies of Langevin Dynamics, we propose Chained Langevin Dynamics, which divides the data vector into patches of constant size and generates every patch sequentially conditioned on the previous patches. We perform a theoretical analysis of Chained Langevin Dynamics by reducing it to sampling from a constant-dimensional distribution. We present the results of several numerical experiments on synthetic and real image datasets, supporting our theoretical results on the iteration complexities of sample generation from mixture distributions using the chained and vanilla Langevin Dynamics. The code is available at https://github.com/Xiwei-Cheng/Chained_LD.
- Abstract（参考訳）: 確率分布のスコア関数からサンプルを生成することを目的としたLangevin Dynamicsフレームワークは、スコアベース生成モデルの解析と解釈に広く利用されている。
ランゲヴィン・ダイナミクスの単調分布下での収束挙動は文献で広く研究されているが、実際にはデータ分布は複数の異なるモードから構成される可能性がある。
本研究では,マルチモーダル分布からのサンプル生成におけるLangevin Dynamicsについて検討し,そのモード探索特性について理論的に検討する。
種々のガウス混合の下では、ランゲヴィン・ダイナミクスはデータ次元において、全ての混合成分を指数以下のステップ数で見つけることは不可能である。
本稿では,Langevin Dynamicsのモード探索傾向を低減するために,データベクトルを一定サイズのパッチに分割し,前回のパッチで逐次条件付きパッチを生成するChained Langevin Dynamicsを提案する。
定次元分布からのサンプリングに還元することで,連鎖ランゲヴィンダイナミクスの理論解析を行う。
本稿では,合成および実画像データセットに関する数値実験を行い,鎖状およびバニラランゲヴィンダイナミクスを用いた混合分布からのサンプル生成の繰り返し複雑度に関する理論的結果を示す。
コードはhttps://github.com/Xiwei-Cheng/Chained_LDで公開されている。
関連論文リスト
- Inferring Parameter Distributions in Heterogeneous Motile Particle Ensembles: A Likelihood Approach for Second Order Langevin Models [0.8274836883472768]
実験によって得られた時間離散軌道データから,動作パターンを理解し,予測するために推論手法が必要である。
非線形二階ランゲヴィンモデルの確率を近似する新しい手法を提案する。
これにより、アクティブに駆動されたエンティティのための動的モデルの体系的、データ駆動推論の道を開いた。
論文 参考訳（メタデータ） (2024-11-13T15:27:02Z) - Accelerating Diffusion Models with Parallel Sampling: Inference at Sub-Linear Time Complexity [11.71206628091551]
拡散モデルは、訓練と評価に費用がかかるため、拡散モデルの推論コストを削減することが大きな目標である。
並列サンプリング手法であるHh2024parallelを用いて拡散モデルを高速化する実験的な成功に触発されて,サンプリングプロセスを各ブロック内に並列化可能なPicard繰り返しを持つ$mathcalO(1)$ブロックに分割することを提案する。
我々の結果は、高速で効率的な高次元データサンプリングの可能性に光を当てた。
論文 参考訳（メタデータ） (2024-05-24T23:59:41Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - An Improved Analysis of Langevin Algorithms with Prior Diffusion for
Non-Log-Concave Sampling [27.882407333690267]
本研究では, 先行拡散を用いた改良型ランゲヴィンアルゴリズムが, 強対数対数対象分布に対して独立に次元を収束させることができることを示す。
また、修正したランゲヴィンアルゴリズムは、異なるステップサイズスケジュールを持つKL発散の次元非依存収束も得ることを証明した。
論文 参考訳（メタデータ） (2024-03-10T11:50:34Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Latent Dynamical Implicit Diffusion Processes [0.0]
潜在動的暗黙拡散過程(LDIDP)と呼ばれる新しい潜時変動モデルを提案する。
LDIDPは暗黙の拡散過程を利用して動的潜伏過程からサンプリングし、それに従って逐次観測サンプルを生成する。
我々は, LDIDP が潜在次元上の力学を正確に学習できることを実証した。
論文 参考訳（メタデータ） (2023-06-12T12:43:27Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳（メタデータ） (2023-06-05T21:08:34Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Learning and Inference in Sparse Coding Models with Langevin Dynamics [3.0600309122672726]
本稿では確率的潜在変数モデルで推論と学習が可能なシステムについて述べる。
ランゲヴィン力学を用いて潜伏変数を推論する連続時間方程式を導出することにより、スパース符号化モデルのこのアイデアを実証する。
ランゲヴィン力学は、L1ノルムが小さいのに対して、潜伏変数をゼロにすることを推奨する'L0スパース'系において、後続分布からサンプリングする効率的な手順をもたらすことを示す。
論文 参考訳（メタデータ） (2022-04-23T23:16:47Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - GANs with Variational Entropy Regularizers: Applications in Mitigating
the Mode-Collapse Issue [95.23775347605923]
深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。
GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。
情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
論文 参考訳（メタデータ） (2020-09-24T19:34:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。