Fugu-MT 論文翻訳(概要): Sequential Controlled Langevin Diffusions

論文の概要: Sequential Controlled Langevin Diffusions

arxiv url: http://arxiv.org/abs/2412.07081v1
Date: Tue, 10 Dec 2024 00:47:10 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-11 14:39:42.476055
Title: Sequential Controlled Langevin Diffusions
Title（参考訳）: 逐次制御Langevin拡散
Authors: Junhua Chen, Lorenz Richter, Julius Berner, Denis Blessing, Gerhard Neumann, Anima Anandkumar,
Abstract要約: 2つの一般的な方法として,(1) 所定のマルコフ連鎖と再サンプリング工程を通した連続モンテカルロ (SMC) と,(2) 学習された動的輸送を用いる拡散に基づくサンプリング手法が最近開発された。本稿では,SMC と拡散型サンプリング器を連続的に観察し,経路空間の測度を考慮し,SMC と拡散型サンプリング器を組み合わせるための基本的枠組みを提案する。これは、従来の拡散のトレーニング予算の10%しか使用しない場合が多いが、これらの手法の利点を活用でき、複数のベンチマーク問題の性能向上に資するSCLD(Sequential Controlled Langevin Diffusion)サンプリング手法の成果である。
参考スコア（独自算出の注目度）: 80.93988625183485
License:
Abstract: An effective approach for sampling from unnormalized densities is based on the idea of gradually transporting samples from an easy prior to the complicated target distribution. Two popular methods are (1) Sequential Monte Carlo (SMC), where the transport is performed through successive annealed densities via prescribed Markov chains and resampling steps, and (2) recently developed diffusion-based sampling methods, where a learned dynamical transport is used. Despite the common goal, both approaches have different, often complementary, advantages and drawbacks. The resampling steps in SMC allow focusing on promising regions of the space, often leading to robust performance. While the algorithm enjoys asymptotic guarantees, the lack of flexible, learnable transitions can lead to slow convergence. On the other hand, diffusion-based samplers are learned and can potentially better adapt themselves to the target at hand, yet often suffer from training instabilities. In this work, we present a principled framework for combining SMC with diffusion-based samplers by viewing both methods in continuous time and considering measures on path space. This culminates in the new Sequential Controlled Langevin Diffusion (SCLD) sampling method, which is able to utilize the benefits of both methods and reaches improved performance on multiple benchmark problems, in many cases using only 10% of the training budget of previous diffusion-based samplers.
Abstract（参考訳）: 非正規化密度からサンプルをサンプリングするための効果的なアプローチは、複雑なターゲット分布に先立って、容易にサンプルを徐々に輸送するという考え方に基づいている。 2つの一般的な方法として,(1) 所定のマルコフ鎖と再サンプリング工程を通した連続的熱処理により輸送を行うシークエンシャルモンテカルロ (SMC) と,(2) 学習された動的輸送を用いる拡散型サンプリング法が最近開発された。共通の目標にもかかわらず、どちらのアプローチも異なる、しばしば相補的な、利点と欠点を持っている。 SMCにおける再サンプリングのステップにより、スペースの有望な領域に集中することができ、しばしばロバストなパフォーマンスをもたらす。このアルゴリズムは漸近的な保証を享受するが、フレキシブルで学習可能な遷移の欠如は収束を遅くする。一方、拡散型サンプリングは学習され、手元のターゲットに適応する可能性も高いが、しばしばトレーニングの不安定さに悩まされる。本研究では,SMCと拡散型サンプリング器を連続的に観察し,経路空間の測度を考慮し,SMCと拡散型サンプリング器を併用するための基本的枠組みを提案する。この手法は,従来の拡散型サンプリング装置のトレーニング予算の10%しか使用せず,各手法の利点を生かし,複数のベンチマーク問題の性能向上に寄与する。

関連論文リスト

Learned Reference-based Diffusion Sampling for multi-modal distributions [2.1383136715042417]
本稿では,学習参照に基づく拡散サンプリング(LRDS)について紹介する。 LRDSは、高密度空間領域にあるサンプルの参照拡散モデルを学ぶことによって、2段階で進行する。 LRDSは、様々な難解な分布上の競合するアルゴリズムと比較して、目標分布に関する事前知識を最大限に活用することが実験的に実証された。
論文参考訳（メタデータ） (2024-10-25T10:23:34Z)
Improved off-policy training of diffusion samplers [93.66433483772055]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文参考訳（メタデータ） (2024-02-07T18:51:49Z)
Exploring Straighter Trajectories of Flow Matching with Diffusion Guidance [66.4153984834872]
フローマッチング(StraightFM)のストレートトラジェクトリを提案する。分布レベル全体から拡散モデルによって導かれる結合戦略により軌道を直線化する。拡散法と従来のフローマッチング法の間で、FIDが低い視覚的に魅力的な画像を生成する。
論文参考訳（メタデータ） (2023-11-28T06:19:30Z)
Observation-Guided Diffusion Probabilistic Models [41.749374023639156]
観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散に基づく画像生成法を提案する。本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。本研究では,強力な拡散モデルベースライン上での多様な推論手法を用いたトレーニングアルゴリズムの有効性を示す。
論文参考訳（メタデータ） (2023-10-06T06:29:06Z)
Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文参考訳（メタデータ） (2023-10-04T09:39:05Z)
Sampling with flows, diffusion and autoregressive neural networks: A spin-glass perspective [18.278073129757466]
障害系の統計物理学において広く研究されている確率分布のクラスに焦点をあてる。我々は,フローベース,拡散ベース,自己回帰的ネットワーク手法によるサンプリングをベイズ最適分解法の解析に等価にマッピングできるという事実を活用する。これらの手法が効率的にサンプリングできないパラメータの領域を同定し、標準モンテカルロ法やランゲヴィン法を用いてそれを可能にする。
論文参考訳（メタデータ） (2023-08-27T12:16:33Z)
Fast Diffusion Model [122.36693015093041]
拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
論文参考訳（メタデータ） (2023-06-12T09:38:04Z)
On Sampling with Approximate Transport Maps [22.03230737620495]
輸送地図は、非自明な測地による分布のサンプリングを容易にし、それらを扱いやすい分布に変換する。このアプローチのポテンシャルは、ターゲットに向かって参照分布をプッシュするようにトレーニングされたディープニューラルネットワークでパラメータ化されたマップである正規化フロー(NF)の開発によって高まっている。 NF型サンプリング器は先日,フローから引き出された (i) モンテカルロ法または (ii) フローベース再パラメータ化法をブレンドした(マルコフ連鎖)モンテカルロ法を提案した。
論文参考訳（メタデータ） (2023-02-09T16:52:52Z)
Jump-Diffusion Langevin Dynamics for Multimodal Posterior Sampling [3.4483987421251516]
本研究では, 複合メトロポリス法とランゲヴィン法(Langevin sample method)の合成および実データに対するジャンプ拡散法(Jump Diffusion)に類似した性能について検討した。その結果, 純勾配系およびサンプリング系において, 混合サンプリングジャンプの慎重な校正が有意に優れていることが判明した。
論文参考訳（メタデータ） (2022-11-02T17:35:04Z)
Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文参考訳（メタデータ） (2021-02-04T02:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。