論文の概要: Learning Optimal Flows for Non-Equilibrium Importance Sampling

• arxiv url: http://arxiv.org/abs/2206.09908v1
• Date: Mon, 20 Jun 2022 17:25:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 19:13:31.789930
• Title: Learning Optimal Flows for Non-Equilibrium Importance Sampling
• Title（参考訳）: 非平衡重要度サンプリングのための最適流れの学習
• Authors: Yu Cao and Eric Vanden-Eijnden
• Abstract要約: 簡単なベース分布からサンプルを生成し,速度場によって生成された流れに沿って移動し,これらの流れに沿って平均を実行する手法を開発した。 理論面では、ターゲットに対する速度場を調整し、提案した推定器が完全推定器となる一般的な条件を確立する方法について論じる。 計算面では、ニューラルネットワークによる速度場を表現するためにディープラーニングを使用して、ゼロ分散最適化に向けて学習する方法を示す。
• 参考スコア（独自算出の注目度）: 13.469239537683299
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many applications in computational sciences and statistical inference require the computation of expectations with respect to complex high-dimensional distributions with unknown normalization constants, as well as the estimation of these constants. Here we develop a method to perform these calculations based on generating samples from a simple base distribution, transporting them along the flow generated by a velocity field, and performing averages along these flowlines. This non-equilibrium importance sampling (NEIS) strategy is straightforward to implement, and can be used for calculations with arbitrary target distributions. On the theory side we discuss how to tailor the velocity field to the target and establish general conditions under which the proposed estimator is a perfect estimator, with zero-variance. We also draw connections between NEIS and approaches based on mapping a base distribution onto a target via a transport map. On the computational side we show how to use deep learning to represent the velocity field by a neural network and train it towards the zero variance optimum. These results are illustrated numerically on high dimensional examples, where we show that training the velocity field can decrease the variance of the NEIS estimator by up to 6 order of magnitude compared to a vanilla estimator. We also show that NEIS performs better on these examples than Neal's annealed importance sampling (AIS).
• Abstract（参考訳）: 計算科学や統計推論における多くの応用は、未知の正規化定数を持つ複素高次元分布に対する期待値の計算とそれらの定数の推定を必要とする。 本稿では, 簡易なベース分布から試料を生成し, 流速場によって発生する流れに沿って試料を輸送し, 流速線に沿った平均値を求める手法を開発した。 この非平衡重要サンプリング(NEIS)戦略は実装が容易であり、任意の目標分布の計算に使用できる。 理論側では、速度場を目標に合わせる方法と、提案する推定器が完全な推定器である一般条件をゼロ分散で定める方法について議論する。 また,移動地図による対象物へのベース分布のマッピングに基づいて,neisとアプローチの接続を導出する。 計算の面では、ニューラルネットワークによる速度場を表現するためにディープラーニングを使い、ゼロ分散の最適化に向けてトレーニングする方法を示す。 これらの結果は高次元の例で数値的に説明され、速度場のトレーニングは、バニラ推定器と比較してNEIS推定器のばらつきを最大6桁減少させることができることを示す。 また,NEISはNealのAIS (Annealed importance sample) よりも優れた性能を示した。

関連論文リスト

• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• Liouville Flow Importance Sampler [2.3603292593876324]
  非正規化密度関数からサンプルを生成する革新的なフローベースモデルであるLiouville Flow Importance Sampler(LFIS)を提案する。 LFISは、単純な初期分布から複雑な目標分布へサンプルを決定的に輸送する時間依存速度場を学習する。 本研究では,LFISが最先端性能を達成したベンチマーク問題に対して,LFISの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-03T16:44:31Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Training normalizing flows with computationally intensive target probability distributions [0.018416014644193065]
  本稿では,REINFORCEアルゴリズムに基づく流れの正規化のための推定器を提案する。 ウォールタイムでは最大10倍高速で、最大30%のメモリを必要とする。
  論文  参考訳（メタデータ） (2023-08-25T10:40:46Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Statistical Optimal Transport posed as Learning Kernel Embedding [0.0]
  この研究は、統計学的最適輸送(OT)を、輸送計画のカーネルの平均埋め込みをサンプルベースによる限界埋め込みの推定から学習する、という新しいアプローチを採っている。 重要な結果は、非常に穏やかな条件下では、$epsilon$-optimal recovery of the transport plan と Barycentric-projection based transport map が、完全に次元のないサンプル複雑性で可能であることである。
  論文  参考訳（メタデータ） (2020-02-08T14:58:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。