論文の概要: Stochastic Normalizing Flows
- arxiv url: http://arxiv.org/abs/2002.06707v3
- Date: Mon, 26 Oct 2020 11:28:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-31 17:59:14.160500
- Title: Stochastic Normalizing Flows
- Title(参考訳): 確率正規化流れ
- Authors: Hao Wu, Jonas K\"ohler and Frank No\'e
- Abstract要約: 単純な事前分布の変換を学習するために,フローの正規化が有効であることを示す。
サンプルとフローパラメータの両方をエンドツーエンドに最適化できる効率的なトレーニング手順を導出する。
いくつかのベンチマークでSNFの表現力,サンプリング効率,正当性について述べる。
- 参考スコア(独自算出の注目度): 2.323220706791067
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The sampling of probability distributions specified up to a normalization
constant is an important problem in both machine learning and statistical
mechanics. While classical stochastic sampling methods such as Markov Chain
Monte Carlo (MCMC) or Langevin Dynamics (LD) can suffer from slow mixing times
there is a growing interest in using normalizing flows in order to learn the
transformation of a simple prior distribution to the given target distribution.
Here we propose a generalized and combined approach to sample target densities:
Stochastic Normalizing Flows (SNF) -- an arbitrary sequence of deterministic
invertible functions and stochastic sampling blocks. We show that stochasticity
overcomes expressivity limitations of normalizing flows resulting from the
invertibility constraint, whereas trainable transformations between sampling
steps improve efficiency of pure MCMC/LD along the flow. By invoking ideas from
non-equilibrium statistical mechanics we derive an efficient training procedure
by which both the sampler's and the flow's parameters can be optimized
end-to-end, and by which we can compute exact importance weights without having
to marginalize out the randomness of the stochastic blocks. We illustrate the
representational power, sampling efficiency and asymptotic correctness of SNFs
on several benchmarks including applications to sampling molecular systems in
equilibrium.
- Abstract(参考訳): 正規化定数までの確率分布のサンプリングは、機械学習と統計力学の両方において重要な問題である。
マルコフ連鎖モンテカルロ (mcmc) やランジュバン力学 (ld) のような古典的確率的サンプリング法では混合時間が遅いが、与えられた対象分布への単純な事前分布の変換を学ぶために正規化フローの利用に関心が高まっている。
確率正規化フロー(Stochastic Normalizing Flows, SNF) - 決定論的非可逆関数の任意の列と確率的サンプリングブロック。
確率性は可逆性制約による流れの正規化の表現性限界を克服するが、サンプリングステップ間の訓練可能な変換は流れに沿った純粋なmcmc/ldの効率を向上させる。
非平衡統計力学からアイデアを呼び出すことで、サンプルとフローのパラメータの両方をエンドツーエンドに最適化し、確率ブロックのランダム性を排除することなく、正確な重要度重みを計算できる効率的な訓練手順を導出する。
本稿では, SNFの表現力, サンプリング効率, 漸近正性について, 分子系の平衡サンプリングへの応用を含むいくつかのベンチマークで説明する。
関連論文リスト
- Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳(メタデータ) (2023-08-28T23:51:33Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Equivariant flow matching [0.9208007322096533]
等変連続正規化流(CNF)の新しい訓練目標である等変フローマッチングを導入する。
等変流マッチングは、標的エネルギーの物理対称性を利用して、同変CNFの効率的でシミュレーションなしな訓練を行う。
この結果から,同変フローマッチングの対象は,従来の手法に比べて,より短い積分経路,サンプリング効率の向上,スケーラビリティの向上を図っている。
論文 参考訳(メタデータ) (2023-06-26T19:40:10Z) - Sampling with Mollified Interaction Energy Descent [57.00583139477843]
モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。
MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する
我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
論文 参考訳(メタデータ) (2022-10-24T16:54:18Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Stochastic Normalizing Flows for Inverse Problems: a Markov Chains
Viewpoint [0.45119235878273]
マルコフ連鎖の観点からのフローの正規化を考える。
遷移密度を一般マルコフ核に置き換え、ラドン-ニコディム微分による証明を確立する。
提案した条件付き正規化フローの性能を数値例で示す。
論文 参考訳(メタデータ) (2021-09-23T13:44:36Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳(メタデータ) (2021-02-04T02:21:08Z) - Integrable Nonparametric Flows [5.9774834479750805]
本稿では,無限小変化のみを仮定した無限小正規化フローを確率分布に再構成する手法を提案する。
これは、フローの正規化という従来のタスクを逆転させる。
量子モンテカルロ問題と機械学習の潜在的な応用について論じる。
論文 参考訳(メタデータ) (2020-12-03T16:19:52Z) - Gaussianization Flows [113.79542218282282]
そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。
この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
論文 参考訳(メタデータ) (2020-03-04T08:15:06Z) - Stochastic Normalizing Flows [52.92110730286403]
微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。
粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。
これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
論文 参考訳(メタデータ) (2020-02-21T20:47:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。