論文の概要: On the Hardness of Sampling from Mixture Distributions via Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2406.02017v3
• Date: Tue, 10 Jun 2025 14:48:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:38.468477
• Title: On the Hardness of Sampling from Mixture Distributions via Langevin Dynamics
• Title（参考訳）: ランゲヴィンダイナミクスによる混合分布からのサンプリングの硬さについて
• Authors: Xiwei Cheng, Kexin Fu, Farzan Farnia,
• Abstract要約: Langevin Dynamics (LD) はそのスコア関数を用いて確率分布からサンプリングすることを目指している。 混合分布から採取したLDについて検討し,その収束特性を理論的に検討した。 本稿では,データベクトルを小サイズのパッチに分割し,前回のパッチで逐次条件付きパッチを生成するChained Langevin Dynamics(Chained-LD)を提案する。
• 参考スコア（独自算出の注目度）: 9.831489366502302
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Langevin Dynamics (LD), which aims to sample from a probability distribution using its score function, has been widely used for analyzing and developing score-based generative modeling algorithms. While the convergence behavior of LD in sampling from a uni-modal distribution has been extensively studied in the literature, the analysis of LD under a mixture distribution with distinct modes remains underexplored in the literature. In this work, we analyze LD in sampling from a mixture distribution and theoretically study its convergence properties. Our theoretical results indicate that for general mixture distributions of sub-Gaussian components, LD could fail in finding all the components within a sub-exponential number of steps in the data dimension. Following our result on the complexity of LD in sampling from high-dimensional variables, we propose Chained Langevin Dynamics (Chained-LD), which divides the data vector into patches of smaller sizes and generates every patch sequentially conditioned on the previous patches. Our theoretical analysis of Chained-LD indicates its faster convergence speed to the components of a mixture distribution. We present the results of several numerical experiments on synthetic and real image datasets, validating our theoretical results on the iteration complexities of sample generation from mixture distributions using the vanilla and chained LD algorithms.
• Abstract（参考訳）: スコア関数を用いた確率分布のサンプリングを目的としたLangevin Dynamics (LD) は、スコアベース生成モデリングアルゴリズムの解析と開発に広く利用されている。 単モード分布からの抽出におけるLDの収束挙動は文献で広く研究されているが, 異なるモードの混合分布下でのLDの解析は文献で未解明のままである。 本研究では,混合分布から抽出したLDを解析し,その収束特性を理論的に検討する。 我々の理論的結果は、ガウス以下の成分の一般的な混合分布では、LDはデータ次元における全ての成分を指数以下のステップ数で見つけることに失敗する可能性があることを示唆している。 高次元変数からのサンプリングにおけるLDの複雑さに関する結果に続いて、データベクトルを小さなサイズのパッチに分割し、前のパッチで逐次条件付きパッチを生成するChained Langevin Dynamics (Chained-LD)を提案する。 チェインドLDの理論解析は,混合分布の成分への収束速度の高速化を示唆している。 合成および実画像データセットに関する数値実験の結果を,バニラおよび連鎖LDアルゴリズムを用いた混合分布からのサンプル生成の繰り返し複雑度に関する理論的結果として検証した。

関連論文リスト

• Inferring Parameter Distributions in Heterogeneous Motile Particle Ensembles: A Likelihood Approach for Second Order Langevin Models [0.8274836883472768]
  実験によって得られた時間離散軌道データから,動作パターンを理解し,予測するために推論手法が必要である。 非線形二階ランゲヴィンモデルの確率を近似する新しい手法を提案する。 これにより、アクティブに駆動されたエンティティのための動的モデルの体系的、データ駆動推論の道を開いた。
  論文  参考訳（メタデータ） (2024-11-13T15:27:02Z)
• Accelerating Diffusion Models with Parallel Sampling: Inference at Sub-Linear Time Complexity [11.71206628091551]
  拡散モデルは、訓練と評価に費用がかかるため、拡散モデルの推論コストを削減することが大きな目標である。 並列サンプリング手法であるHh2024parallelを用いて拡散モデルを高速化する実験的な成功に触発されて,サンプリングプロセスを各ブロック内に並列化可能なPicard繰り返しを持つ$mathcalO(1)$ブロックに分割することを提案する。 我々の結果は、高速で効率的な高次元データサンプリングの可能性に光を当てた。
  論文  参考訳（メタデータ） (2024-05-24T23:59:41Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• An Improved Analysis of Langevin Algorithms with Prior Diffusion for Non-Log-Concave Sampling [27.882407333690267]
  本研究では, 先行拡散を用いた改良型ランゲヴィンアルゴリズムが, 強対数対数対象分布に対して独立に次元を収束させることができることを示す。 また、修正したランゲヴィンアルゴリズムは、異なるステップサイズスケジュールを持つKL発散の次元非依存収束も得ることを証明した。
  論文  参考訳（メタデータ） (2024-03-10T11:50:34Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• Latent Dynamical Implicit Diffusion Processes [0.0]
  潜在動的暗黙拡散過程(LDIDP)と呼ばれる新しい潜時変動モデルを提案する。 LDIDPは暗黙の拡散過程を利用して動的潜伏過程からサンプリングし、それに従って逐次観測サンプルを生成する。 我々は, LDIDP が潜在次元上の力学を正確に学習できることを実証した。
  論文  参考訳（メタデータ） (2023-06-12T12:43:27Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Learning and Inference in Sparse Coding Models with Langevin Dynamics [3.0600309122672726]
  本稿では確率的潜在変数モデルで推論と学習が可能なシステムについて述べる。 ランゲヴィン力学を用いて潜伏変数を推論する連続時間方程式を導出することにより、スパース符号化モデルのこのアイデアを実証する。 ランゲヴィン力学は、L1ノルムが小さいのに対して、潜伏変数をゼロにすることを推奨する'L0スパース'系において、後続分布からサンプリングする効率的な手順をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-04-23T23:16:47Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Analysis of ODE2VAE with Examples [0.0]
  通常微分方程式変分オートエンコーダ(ODE2VAE)は、潜時変分モデルである。 モデルが意味のある潜在表現をある程度学習できることを示す。
  論文  参考訳（メタデータ） (2021-08-10T20:12:26Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。