論文の概要: NETS: A Non-Equilibrium Transport Sampler

• arxiv url: http://arxiv.org/abs/2410.02711v2
• Date: Mon, 21 Oct 2024 09:22:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 01:23:03.378406
• Title: NETS: A Non-Equilibrium Transport Sampler
• Title（参考訳）: NETS:非平衡トランスポートサンプリング
• Authors: Michael S. Albergo, Eric Vanden-Eijnden,
• Abstract要約: 我々は、Non-Equilibrium Transport Sampler (NETS)と呼ばれるアルゴリズムを提案する。 NETSはJarzynskiの平等に基づいて、重要サンプリング(AIS)の亜種と見なすことができる。 このドリフトは、様々な目的関数の最小化であり、全て偏りのない方法で推定できることを示す。
• 参考スコア（独自算出の注目度）: 15.58993313831079
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an algorithm, termed the Non-Equilibrium Transport Sampler (NETS), to sample from unnormalized probability distributions. NETS can be viewed as a variant of annealed importance sampling (AIS) based on Jarzynski's equality, in which the stochastic differential equation used to perform the non-equilibrium sampling is augmented with an additional learned drift term that lowers the impact of the unbiasing weights used in AIS. We show that this drift is the minimizer of a variety of objective functions, which can all be estimated in an unbiased fashion without backpropagating through solutions of the stochastic differential equations governing the sampling. We also prove that some these objectives control the Kullback-Leibler divergence of the estimated distribution from its target. NETS is shown to be unbiased and, in addition, has a tunable diffusion coefficient which can be adjusted post-training to maximize the effective sample size. We demonstrate the efficacy of the method on standard benchmarks, high-dimensional Gaussian mixture distributions, and a model from statistical lattice field theory, for which it surpasses the performances of related work and existing baselines.
• Abstract（参考訳）: 非平衡輸送サンプリング(Non-Equilibrium Transport Sampler:NETS)と呼ばれるアルゴリズムを提案する。 非平衡サンプリングに使用される確率微分方程式を、AISで使用される非バイアスウェイトの影響を減少させる追加の学習ドリフト項で拡張する、Jarzynskiの等式に基づく、AIS(Annealed importance sample)の変種と見なすことができる。 このドリフトは、様々な目的関数の最小化であり、全て、サンプリングを管理する確率微分方程式の解を逆伝播することなく、偏りのない方法で推定できることを示す。 また,これらの目的が推定分布のKulback-Leibler分散を目標から制御していることも証明した。 NETSは非バイアスであり、また、トレーニング後の調整が可能な調整可能な拡散係数を持ち、有効サンプルサイズを最大化することができる。 本稿では, 標準ベンチマーク, 高次元ガウス混合分布, および統計格子場理論に基づくモデル上での手法の有効性を示す。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
  エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。 モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。 ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
  論文  参考訳（メタデータ） (2023-05-30T21:07:52Z)
• BR-SNIS: Bias Reduced Self-Normalized Importance Sampling [11.150337082767862]
  重要サンプリング(Importance Smpling、IS)とは、提案分布と関連する重要度から独立したサンプルを用いて、目標分布下での期待を近似する手法である。 本稿では,SNISの複雑さが本質的に同じであり,分散を増大させることなくバイアスを大幅に低減するBR-SNISを提案する。 提案アルゴリズムには、新しいバイアス、分散、高確率境界を含む厳密な理論的結果を与える。
  論文  参考訳（メタデータ） (2022-07-13T17:14:10Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Achieving Efficiency in Black Box Simulation of Distribution Tails with Self-structuring Importance Samplers [1.6114012813668934]
  本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
  論文  参考訳（メタデータ） (2021-02-14T03:37:22Z)
• Stochastic Normalizing Flows [2.323220706791067]
  単純な事前分布の変換を学習するために,フローの正規化が有効であることを示す。 サンプルとフローパラメータの両方をエンドツーエンドに最適化できる効率的なトレーニング手順を導出する。 いくつかのベンチマークでSNFの表現力,サンプリング効率,正当性について述べる。
  論文  参考訳（メタデータ） (2020-02-16T23:29:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。