論文の概要: Importance Corrected Neural JKO Sampling

• arxiv url: http://arxiv.org/abs/2407.20444v1
• Date: Mon, 29 Jul 2024 22:49:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 18:48:44.335435
• Title: Importance Corrected Neural JKO Sampling
• Title（参考訳）: 重要度補正型ニューラルJKOサンプリング
• Authors: Johannes Hertrich, Robert Gruhlke,
• Abstract要約: 重み付けに基づいて, 連続正規化フロー (CNFs) とリジェクション・サンプリングのステップを結合する。 発生モデルを反復的にトレーニングし、各ステップにおける逆KL損失関数を低減し、iidサンプルを生成することができる。 数値的な例から,本手法は高次元マルチモーダルターゲットを含む様々な試験分布に対して精度の高い結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In order to sample from an unnormalized probability density function, we propose to combine continuous normalizing flows (CNFs) with rejection-resampling steps based on importance weights. We relate the iterative training of CNFs with regularized velocity fields to a JKO scheme and prove convergence of the involved velocity fields to the velocity field of the Wasserstein gradient flow (WGF). The alternation of local flow steps and non-local rejection-resampling steps allows to overcome local minima or slow convergence of the WGF for multimodal distributions. Since the proposal of the rejection step is generated by the model itself, they do not suffer from common drawbacks of classical rejection schemes. The arising model can be trained iteratively, reduces the reverse Kulback-Leibler (KL) loss function in each step, allows to generate iid samples and moreover allows for evaluations of the generated underlying density. Numerical examples show that our method yields accurate results on various test distributions including high-dimensional multimodal targets and outperforms the state of the art in almost all cases significantly.
• Abstract（参考訳）: 非正規化確率密度関数から標本化するために、重み付けに基づいて連続正規化フロー(CNF)と回帰再サンプリングステップを組み合わせることを提案する。 本稿では, CNF の定常速度場と JKO スキームの反復学習を関連づけ, ワッサーシュタイン勾配流(WGF)の速度場への関連速度場の収束性を証明する。 局所的フローステップと非局所的リサンプリングステップの交互化により、マルチモーダル分布に対するWGFの局所的最小化や緩やかな収束を克服することができる。 拒絶ステップの提案はモデル自身によって生成されるため、古典的な拒絶スキームの共通の欠点に苦しむことはない。 生成モデルは反復的に訓練でき、各ステップにおける逆カルバック・リーブラー(KL)損失関数を低減し、iidサンプルを生成し、さらに、生成された基礎密度の評価を可能にする。 数値的な例では,高次元マルチモーダルターゲットを含む各種試験分布の精度が向上し,ほぼすべての場合において最先端の精度が向上している。

関連論文リスト

• Diffusion-PINN Sampler [6.656265182236135]
  物理インフォームドニューラルネットワーク(PINN)を用いて,基礎となるSDEの対数密度の制御偏微分方程式を解くことにより,ドリフト項を推定する新しい拡散型サンプリングアルゴリズムを提案する。 DPSの収束保証を確立するために、PINN残差損失によって対数密度近似の誤差を制御できることを証明した。
  論文  参考訳（メタデータ） (2024-10-20T09:02:16Z)
• Liouville Flow Importance Sampler [2.3603292593876324]
  非正規化密度関数からサンプルを生成する革新的なフローベースモデルであるLiouville Flow Importance Sampler(LFIS)を提案する。 LFISは、単純な初期分布から複雑な目標分布へサンプルを決定的に輸送する時間依存速度場を学習する。 本研究では,LFISが最先端性能を達成したベンチマーク問題に対して,LFISの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-03T16:44:31Z)
• Sampling in Unit Time with Kernel Fisher-Rao Flow [0.0]
  非正規化対象密度からサンプリングするための平均場ODEと対応する相互作用粒子系(IPS)を導入する。 IPSは勾配のない閉形式であり、参照密度からサンプリングし、(正規化されていない)ターゲット-参照密度比を計算する能力のみを必要とする。
  論文  参考訳（メタデータ） (2024-01-08T13:43:56Z)
• Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
  Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
  論文  参考訳（メタデータ） (2023-10-01T05:07:17Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Protein Design with Guided Discrete Diffusion [67.06148688398677]
  タンパク質設計における一般的なアプローチは、生成モデルと条件付きサンプリングのための識別モデルを組み合わせることである。 離散拡散モデルのためのガイダンス手法であるdiffusioN Optimized Smpling (NOS)を提案する。 NOSは、構造に基づく手法の重要な制限を回避し、シーケンス空間で直接設計を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T16:31:24Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Relative Entropy Gradient Sampler for Unnormalized Distributions [14.060615420986796]
  非正規分布からのサンプリングのための相対エントロピー勾配サンプリング器(REGS) REGSは、参照分布からサンプルへの初期サンプルを非正規化対象分布から反復的に押し出す単純な非線形変換の列を求める粒子法である。
  論文  参考訳（メタデータ） (2021-10-06T14:10:38Z)
• Stochastic Normalizing Flows [2.323220706791067]
  単純な事前分布の変換を学習するために,フローの正規化が有効であることを示す。 サンプルとフローパラメータの両方をエンドツーエンドに最適化できる効率的なトレーニング手順を導出する。 いくつかのベンチマークでSNFの表現力,サンプリング効率,正当性について述べる。
  論文  参考訳（メタデータ） (2020-02-16T23:29:32Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。