論文の概要: Flow Annealed Importance Sampling Bootstrap

• arxiv url: http://arxiv.org/abs/2208.01893v1
• Date: Wed, 3 Aug 2022 07:44:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-04 13:08:48.665218
• Title: Flow Annealed Importance Sampling Bootstrap
• Title（参考訳）: Flow Annealed Importance Smpling Bootstrap
• Authors: Laurence Illing Midgley, Vincent Stimper, Gregor N. C. Simm, Bernhard Sch\"olkopf, Jos\'e Miguel Hern\'andez-Lobato
• Abstract要約: Flow AIS Bootstrap (FAB) は複雑なターゲット分布を近似したトラクタブル密度モデルである。 その結果,FABは,目標評価の100倍の精度で,MDサンプルの最大値によるトレーニングよりも優れた結果が得られることがわかった。 我々は、ターゲット密度のみを用いて、アラニンジペプチド分子のボルツマン分布を初めて知る。
• 参考スコア（独自算出の注目度）: 11.458583322083125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Normalizing flows are tractable density models that can approximate complicated target distributions, e.g. Boltzmann distributions of physical systems. However, current methods for training flows either suffer from mode-seeking behavior, use samples from the target generated beforehand by expensive MCMC simulations, or use stochastic losses that have very high variance. To avoid these problems, we augment flows with annealed importance sampling (AIS) and minimize the mass covering $\alpha$-divergence with $\alpha=2$, which minimizes importance weight variance. Our method, Flow AIS Bootstrap (FAB), uses AIS to generate samples in regions where the flow is a poor approximation of the target, facilitating the discovery of new modes. We target with AIS the minimum variance distribution for the estimation of the $\alpha$-divergence via importance sampling. We also use a prioritized buffer to store and reuse AIS samples. These two features significantly improve FAB's performance. We apply FAB to complex multimodal targets and show that we can approximate them very accurately where previous methods fail. To the best of our knowledge, we are the first to learn the Boltzmann distribution of the alanine dipeptide molecule using only the unnormalized target density and without access to samples generated via Molecular Dynamics (MD) simulations: FAB produces better results than training via maximum likelihood on MD samples while using 100 times fewer target evaluations. After reweighting samples with importance weights, we obtain unbiased histograms of dihedral angles that are almost identical to the ground truth ones.
• Abstract（参考訳）: 正規化フローは、物理的システムのボルツマン分布など、複雑なターゲット分布を近似できるトラクタブル密度モデルである。 しかし、現在のトレーニングフローの方法は、モード探索行動に苦しむか、高価なMCMCシミュレーションによって事前に生成されたターゲットからのサンプルを使用するか、非常にばらつきの高い確率的損失を使用するかのいずれかである。 これらの問題を避けるため,アニール化重要度サンプリング(ais)により流れを増強し,\alpha$-divergence を$\alpha=2$ でカバーする質量を最小化し,重要度重みのばらつきを最小化する。 提案手法であるflow ais bootstrap(fab)では,フローがターゲットの近似値に乏しい領域でサンプルを生成することで,新しいモードの発見を容易にする。 我々は、重要サンプリングによる$\alpha$-divergenceの推定のための最小分散分布をaisでターゲットとする。 また、AISサンプルの保存と再利用に優先順位付けバッファを使用します。 これらの2つの機能はFABのパフォーマンスを大幅に改善した。 複雑なマルチモーダルターゲットにFABを適用して,従来の手法が失敗した場合に,それらを非常に正確に近似できることを示す。 私たちの知る限りでは、分子動力学(md)シミュレーションによって生成されたサンプルにアクセスせずに、非正規化されたターゲット密度のみを使用してアラニンジペプチド分子のボルツマン分布を初めて学習した。 重み付きサンプルの重み付けを行った後、基底真理とほぼ同じ二面体角度の偏りのないヒストグラムを得る。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Bridging the Gap: Addressing Discrepancies in Diffusion Model Training for Classifier-Free Guidance [1.6804613362826175]
  拡散モデルは、生成モデルにおいて重要な進歩として現れている。 本稿では,従来の訓練方法と所望の条件付きサンプリング行動との相違点を明らかにすることを目的とする。 トレーニング目標とサンプリング行動との整合性を向上する改良された損失関数を導入する。
  論文  参考訳（メタデータ） (2023-11-02T02:03:12Z)
• Simulation-free Schr\"odinger bridges via score and flow matching [89.4231207928885]
  シミュレーションフリースコアとフローマッチング([SF]$2$M)を提案する。 本手法は,拡散モデルのトレーニングに使用するスコアマッチング損失と,連続流のトレーニングに使用されるフローマッチング損失の両方を一般化する。 特に、[SF]$2$Mは、高次元の細胞動態を正確にモデル化し、既知の遺伝子制御ネットワークをシミュレートする最初の方法である。
  論文  参考訳（メタデータ） (2023-07-07T15:42:35Z)
• Towards Understanding and Improving GFlowNet Training [71.85707593318297]
  本稿では,学習したサンプリング分布と目標報酬分布を比較するための効率的な評価手法を提案する。 本稿では,高解像度のx$,相対的エッジフローポリシーのパラメータ化,新しい軌道バランス目標を提案する。
  論文  参考訳（メタデータ） (2023-05-11T22:50:41Z)
• Multisample Flow Matching: Straightening Flows with Minibatch Couplings [38.82598694134521]
  連続時間生成モデルを訓練するためのシミュレーション不要な手法は、ノイズ分布と個々のデータサンプルの間の確率経路を構築する。 データとノイズサンプル間の非自明な結合を利用するより一般的なフレームワークであるMultisample Flow Matchingを提案する。 提案手法は,イメージネットデータセットのサンプル一貫性を向上し,低コストなサンプル生成に繋がることを示す。
  論文  参考訳（メタデータ） (2023-04-28T11:33:08Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• Bootstrap Your Flow [4.374837991804085]
  複雑なターゲット分布に対する正確な近似を生成するため,フローベーストレーニング手法であるFAB(Flow AIS Bootstrap)を開発した。 我々は,従来のフローベース手法が失敗する問題において,FABを用いてボルツマン分布を含む複雑な対象分布の正確な近似を導出できることを実証した。
  論文  参考訳（メタデータ） (2021-11-22T20:11:47Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Improved Denoising Diffusion Probabilistic Models [4.919647298882951]
  その結果,ddpmは高いサンプル品質を維持しつつ,競合的なログライク性を達成できることがわかった。 また,逆拡散過程の学習分散により,フォワードパスが桁違いに小さくサンプリングできることがわかった。 これらのモデルのサンプルの品質と可能性について,モデルのキャパシティとトレーニング計算でスムーズに拡張できることを示し,スケーラビリティを向上する。
  論文  参考訳（メタデータ） (2021-02-18T23:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。