論文の概要: Jump-Diffusion Langevin Dynamics for Multimodal Posterior Sampling
- arxiv url: http://arxiv.org/abs/2211.01774v1
- Date: Wed, 2 Nov 2022 17:35:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 13:53:15.260272
- Title: Jump-Diffusion Langevin Dynamics for Multimodal Posterior Sampling
- Title(参考訳): 多モード後方サンプリングのためのジャンプ拡散ランゲヴィンダイナミクス
- Authors: Jacopo Guidolin, Vyacheslav Kungurtsev, Ond\v{r}ej Ku\v{z}elka
- Abstract要約: 本研究では, 複合メトロポリス法とランゲヴィン法(Langevin sample method)の合成および実データに対するジャンプ拡散法(Jump Diffusion)に類似した性能について検討した。
その結果, 純勾配系およびサンプリング系において, 混合サンプリングジャンプの慎重な校正が有意に優れていることが判明した。
- 参考スコア(独自算出の注目度): 3.4483987421251516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian methods of sampling from a posterior distribution are becoming
increasingly popular due to their ability to precisely display the uncertainty
of a model fit. Classical methods based on iterative random sampling and
posterior evaluation such as Metropolis-Hastings are known to have desirable
long run mixing properties, however are slow to converge. Gradient based
methods, such as Langevin Dynamics (and its stochastic gradient counterpart)
exhibit favorable dimension-dependence and fast mixing times for log-concave,
and "close" to log-concave distributions, however also have long escape times
from local minimizers. Many contemporary applications such as Bayesian Neural
Networks are both high-dimensional and highly multimodal. In this paper we
investigate the performance of a hybrid Metropolis and Langevin sampling method
akin to Jump Diffusion on a range of synthetic and real data, indicating that
careful calibration of mixing sampling jumps with gradient based chains
significantly outperforms both pure gradient-based or sampling based schemes.
- Abstract(参考訳): 後部分布からのベイズ的サンプリング法は、モデル適合の不確かさを正確に表示する能力によって、ますます人気が高まっている。
反復的ランダムサンプリングに基づく古典的手法とメトロポリス・ハスティングのような後方評価は、長期混合特性が望ましいことが知られているが、収束が遅い。
ランジュバン力学(英語版)やその確率的勾配法のような勾配に基づく手法は、対数凸に対して好適な次元依存性と高速な混合時間を示し、対数凸分布に「近い」が、局所的最小化器からの脱出時間も長い。
ベイズニューラルネットワークのような現代の多くの応用は、高次元かつ高マルチモーダルである。
本稿では,ハイブリッドメトロポリスとランジュバンのサンプリング手法の性能を,合成データと実データとの組み合わせによる拡散に類似し,グラデーション・チェーンを用いたサンプリング・ジャンプの注意深いキャリブレーションが,純粋なグラデーション・ベースおよびサンプリング・ベース・スキームを著しく上回っていることを示す。
関連論文リスト
- The Poisson Midpoint Method for Langevin Dynamics: Provably Efficient Discretization for Diffusion Models [9.392691963008385]
ランゲヴィン・モンテカルロ(Langevin Monte Carlo、LMC)は、最も単純かつ最も研究されたアルゴリズムである。
本稿では, ステップサイズが大きい小型LCCを近似したPoisson Midpoint Methodを提案する。
DDPMは,わずか50~80のニューラルネットワークコールで1000件のニューラルネットワークコールで品質を維持し,同様の計算でODEベースの手法より優れていることを示す。
論文 参考訳(メタデータ) (2024-05-27T11:40:42Z) - Differentiable and Stable Long-Range Tracking of Multiple Posterior Modes [1.534667887016089]
我々は、学習データを活用し、潜在対象状態における不確実性の粒子ベース表現を識別的に学習する。
提案手法は精度を劇的に向上すると同時に,複数のトレーニング実行における安定性も向上する。
論文 参考訳(メタデータ) (2024-04-12T19:33:52Z) - Diffusive Gibbs Sampling [40.1197715949575]
本稿では,ディフューシブギブズサンプリング(Diffusive Gibbs Sampling, DiGS)を提案する。
DiGSは拡散モデルにおける最近の発展を統合し、ガウスの畳み込みを利用して補助雑音分布を生成する。
新規なメトロポリス・ウィスティン・ギブス法は, サンプリング工程における混合性を高めるために提案されている。
論文 参考訳(メタデータ) (2024-02-05T13:47:41Z) - Stable generative modeling using Schrödinger bridges [0.22499166814992438]
本稿では,Schr"odinger BridgesとLangevin dynamicsを組み合わせた生成モデルを提案する。
我々のフレームワークは自然に条件付きサンプルを生成し、ベイズ推論問題に拡張することができる。
論文 参考訳(メタデータ) (2024-01-09T06:15:45Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳(メタデータ) (2023-12-02T13:01:29Z) - Multi-scale Diffusion Denoised Smoothing [79.95360025953931]
ランダムな平滑化は、大規模モデルに敵対的ロバスト性を提供する、いくつかの具体的なアプローチの1つになっている。
本報告では, 分割平滑化におけるロバスト性と精度との現在のトレードオフに対処するスケーラブルな手法を提案する。
提案手法と拡散微細調整を併用したマルチスケール平滑化手法により,高騒音レベルで高い信頼性のロバスト性が得られることを示す。
論文 参考訳(メタデータ) (2023-10-25T17:11:21Z) - DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for
Accelerated Seq2Seq Diffusion Models [58.450152413700586]
ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。
我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。
提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
論文 参考訳(メタデータ) (2023-10-09T15:29:10Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - Resolving the Mixing Time of the Langevin Algorithm to its Stationary
Distribution for Log-Concave Sampling [34.66940399825547]
本稿では,Langevinアルゴリズムの定常分布に対する混合時間の特徴について述べる。
本稿では,差分プライバシー文献からサンプリング文献へのアプローチを紹介する。
論文 参考訳(メタデータ) (2022-10-16T05:11:16Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳(メタデータ) (2020-06-04T21:51:21Z) - Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。
分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
論文 参考訳(メタデータ) (2020-02-21T14:03:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。