論文の概要: On the Mode-Seeking Properties of Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2406.02017v1
• Date: Tue, 4 Jun 2024 06:57:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-05 17:40:41.954314
• Title: On the Mode-Seeking Properties of Langevin Dynamics
• Title（参考訳）: ランゲヴィンダイナミクスのモード探索特性について
• Authors: Xiwei Cheng, Kexin Fu, Farzan Farnia,
• Abstract要約: マルチモーダル分布からのサンプル生成におけるLangevin Dynamicsについて検討する。 本稿では,データベクトルを一定サイズのパッチに分割し,前回のパッチで逐次条件付きパッチを生成するChained Langevin Dynamicsを提案する。 合成および実画像データセットに関する数値実験の結果について述べる。
• 参考スコア（独自算出の注目度）: 9.831489366502302
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Langevin Dynamics framework, which aims to generate samples from the score function of a probability distribution, is widely used for analyzing and interpreting score-based generative modeling. While the convergence behavior of Langevin Dynamics under unimodal distributions has been extensively studied in the literature, in practice the data distribution could consist of multiple distinct modes. In this work, we investigate Langevin Dynamics in producing samples from multimodal distributions and theoretically study its mode-seeking properties. We prove that under a variety of sub-Gaussian mixtures, Langevin Dynamics is unlikely to find all mixture components within a sub-exponential number of steps in the data dimension. To reduce the mode-seeking tendencies of Langevin Dynamics, we propose Chained Langevin Dynamics, which divides the data vector into patches of constant size and generates every patch sequentially conditioned on the previous patches. We perform a theoretical analysis of Chained Langevin Dynamics by reducing it to sampling from a constant-dimensional distribution. We present the results of several numerical experiments on synthetic and real image datasets, supporting our theoretical results on the iteration complexities of sample generation from mixture distributions using the chained and vanilla Langevin Dynamics. The code is available at https://github.com/Xiwei-Cheng/Chained_LD.
• Abstract（参考訳）: 確率分布のスコア関数からサンプルを生成することを目的としたLangevin Dynamicsフレームワークは、スコアベース生成モデルの解析と解釈に広く利用されている。 ランゲヴィン・ダイナミクスの単調分布下での収束挙動は文献で広く研究されているが、実際にはデータ分布は複数の異なるモードから構成される可能性がある。 本研究では,マルチモーダル分布からのサンプル生成におけるLangevin Dynamicsについて検討し,そのモード探索特性について理論的に検討する。 種々のガウス混合の下では、ランゲヴィン・ダイナミクスはデータ次元において、全ての混合成分を指数以下のステップ数で見つけることは不可能である。 本稿では,Langevin Dynamicsのモード探索傾向を低減するために,データベクトルを一定サイズのパッチに分割し,前回のパッチで逐次条件付きパッチを生成するChained Langevin Dynamicsを提案する。 定次元分布からのサンプリングに還元することで,連鎖ランゲヴィンダイナミクスの理論解析を行う。 本稿では,合成および実画像データセットに関する数値実験を行い,鎖状およびバニラランゲヴィンダイナミクスを用いた混合分布からのサンプル生成の繰り返し複雑度に関する理論的結果を示す。 コードはhttps://github.com/Xiwei-Cheng/Chained_LDで公開されている。

関連論文リスト

• Restricted Spectral Gap Decomposition for Simulated Tempering Targeting Mixture Distributions [3.7577421880330535]
  模擬テンパリングと任意の局所連鎖モンテカルロサンプリング器を組み合わせることを考える。 混合分布からサンプリングするアルゴリズムの制限スペクトルギャップを下限とした新しい分解定理を提案する。
  論文  参考訳（メタデータ） (2025-05-21T03:28:55Z)
• Inferring Parameter Distributions in Heterogeneous Motile Particle Ensembles: A Likelihood Approach for Second Order Langevin Models [0.8274836883472768]
  実験によって得られた時間離散軌道データから,動作パターンを理解し,予測するために推論手法が必要である。 非線形二階ランゲヴィンモデルの確率を近似する新しい手法を提案する。 これにより、アクティブに駆動されたエンティティのための動的モデルの体系的、データ駆動推論の道を開いた。
  論文  参考訳（メタデータ） (2024-11-13T15:27:02Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Accelerating Diffusion Models with Parallel Sampling: Inference at Sub-Linear Time Complexity [11.71206628091551]
  拡散モデルは、訓練と評価に費用がかかるため、拡散モデルの推論コストを削減することが大きな目標である。 並列サンプリング手法であるHh2024parallelを用いて拡散モデルを高速化する実験的な成功に触発されて,サンプリングプロセスを各ブロック内に並列化可能なPicard繰り返しを持つ$mathcalO(1)$ブロックに分割することを提案する。 我々の結果は、高速で効率的な高次元データサンプリングの可能性に光を当てた。
  論文  参考訳（メタデータ） (2024-05-24T23:59:41Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• An Improved Analysis of Langevin Algorithms with Prior Diffusion for Non-Log-Concave Sampling [27.882407333690267]
  本研究では, 先行拡散を用いた改良型ランゲヴィンアルゴリズムが, 強対数対数対象分布に対して独立に次元を収束させることができることを示す。 また、修正したランゲヴィンアルゴリズムは、異なるステップサイズスケジュールを持つKL発散の次元非依存収束も得ることを証明した。
  論文  参考訳（メタデータ） (2024-03-10T11:50:34Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Latent Dynamical Implicit Diffusion Processes [0.0]
  潜在動的暗黙拡散過程(LDIDP)と呼ばれる新しい潜時変動モデルを提案する。 LDIDPは暗黙の拡散過程を利用して動的潜伏過程からサンプリングし、それに従って逐次観測サンプルを生成する。 我々は, LDIDP が潜在次元上の力学を正確に学習できることを実証した。
  論文  参考訳（メタデータ） (2023-06-12T12:43:27Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Mean-Square Analysis of Discretized It\^o Diffusions for Heavy-tailed Sampling [17.415391025051434]
  重み付きポインカーの不等式に関連する伊藤拡散の自然クラスを離散化することにより、重み付き分布のクラスからのサンプリングの複雑さを分析する。 平均二乗解析に基づいて、ワッサーシュタイン2計量のターゲット分布に近い分布が$epsilon$のサンプルを得るための反復複雑性を確立する。
  論文  参考訳（メタデータ） (2023-03-01T15:16:03Z)
• Learning and Inference in Sparse Coding Models with Langevin Dynamics [3.0600309122672726]
  本稿では確率的潜在変数モデルで推論と学習が可能なシステムについて述べる。 ランゲヴィン力学を用いて潜伏変数を推論する連続時間方程式を導出することにより、スパース符号化モデルのこのアイデアを実証する。 ランゲヴィン力学は、L1ノルムが小さいのに対して、潜伏変数をゼロにすることを推奨する'L0スパース'系において、後続分布からサンプリングする効率的な手順をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-04-23T23:16:47Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Score-Based Generative Modeling with Critically-Damped Langevin Diffusion [18.82116696636531]
  現在のスコアベース生成モデル(SGM)は、データを徐々にトラクタブルな分布へとゆがめる拡散過程に依存している。 我々は、現在のSGMが過度に単純化された拡散を導入し、不要に複雑な分極過程をもたらすことを論じる。 そこで我々は,CLDに基づくSGMが優れた性能を発揮することを示すために,CLD(Critical-damped Langevin diffusion)を提案する。
  論文  参考訳（メタデータ） (2021-12-14T00:01:34Z)
• Relative Entropy Gradient Sampler for Unnormalized Distributions [14.060615420986796]
  非正規分布からのサンプリングのための相対エントロピー勾配サンプリング器(REGS) REGSは、参照分布からサンプルへの初期サンプルを非正規化対象分布から反復的に押し出す単純な非線形変換の列を求める粒子法である。
  論文  参考訳（メタデータ） (2021-10-06T14:10:38Z)
• Analysis of ODE2VAE with Examples [0.0]
  通常微分方程式変分オートエンコーダ(ODE2VAE)は、潜時変分モデルである。 モデルが意味のある潜在表現をある程度学習できることを示す。
  論文  参考訳（メタデータ） (2021-08-10T20:12:26Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。