論文の概要: A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models

• arxiv url: http://arxiv.org/abs/1910.14216v7
• Date: Fri, 28 Apr 2023 16:03:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 18:16:31.957947
• Title: A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models
• Title（参考訳）: ニューラルエネルギーモデル学習のための近似最適勾配流
• Authors: Yang Wu and Pengxu Wei and Liang Lin
• Abstract要約: 学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
• 参考スコア（独自算出の注目度）: 93.24030378630175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel numerical scheme to optimize the gradient flows for learning energy-based models (EBMs). From a perspective of physical simulation, we redefine the problem of approximating the gradient flow utilizing optimal transport (i.e. Wasserstein) metric. In EBMs, the learning process of stepwise sampling and estimating data distribution performs the functional gradient of minimizing the global relative entropy between the current and target real distribution, which can be treated as dynamic particles moving from disorder to target manifold. Previous learning schemes mainly minimize the entropy concerning the consecutive time KL divergence in each learning step. However, they are prone to being stuck in the local KL divergence by projecting non-smooth information within smooth manifold, which is against the optimal transport principle. To solve this problem, we derive a second-order Wasserstein gradient flow of the global relative entropy from Fokker-Planck equation. Compared with existing schemes, Wasserstein gradient flow is a smoother and near-optimal numerical scheme to approximate real data densities. We also derive this near-proximal scheme and provide its numerical computation equations. Our extensive experiments demonstrate the practical superiority and potentials of our proposed scheme on fitting complex distributions and generating high-quality, high-dimensional data with neural EBMs.
• Abstract（参考訳）: 本稿では,学習エネルギーベースモデル(ebms)のための勾配流を最適化する新しい数値スキームを提案する。 物理シミュレーションの観点からは,最適輸送量(すなわちwasserstein)を用いた勾配流の近似問題を再定義する。 ebmsでは、段階的にサンプリングしてデータ分布を推定する学習プロセスが、乱れから目標多様体へ移動する動的粒子として扱うことができる電流と対象実分布との間の大域的相対エントロピーを最小化する機能勾配を実行する。 先行学習方式は,学習ステップ毎に連続時間kl発散に関するエントロピーを最小化する。 しかし、それらは、最適輸送原理に反する滑らかな多様体内で非滑らかな情報を射影することで、局所的なKL分岐で立ち往生する傾向にある。 この問題を解決するために、フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。 また、この近似スキームを導出し、その数値計算式を提供する。 提案する複雑な分布を適合させ, 神経ebmを用いた高品質な高次元データを生成する手法の実用的優位性と可能性を示す。

関連論文リスト

• Kernel Approximation of Fisher-Rao Gradient Flows [52.154685604660465]
  本稿では,フィッシャー・ラオ型およびワッサーシュタイン型勾配流の勾配構造,流れ方程式,および核近似に関する厳密な研究を行う。 具体的には、フィッシャー・ラオ幾何学とその様々なカーネルに基づく近似に注目し、原理的な理論的枠組みを開発する。
  論文  参考訳（メタデータ） (2024-10-27T22:52:08Z)
• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• Interaction-Force Transport Gradient Flows [45.05400562268213]
  本稿では,非負測度および確率測度に対する新しい勾配流散逸幾何学を提案する。 We propose the interaction-force transport (IFT) gradient flow, we proposed the interaction-force transport (IFT) gradient flow。
  論文  参考訳（メタデータ） (2024-05-27T11:46:14Z)
• Momentum Particle Maximum Likelihood [2.4561590439700076]
  自由エネルギー関数を最小化するための類似の力学系に基づくアプローチを提案する。 システムを離散化することにより、潜在変数モデルにおける最大推定のための実用的なアルゴリズムを得る。 このアルゴリズムは既存の粒子法を数値実験で上回り、他のMLEアルゴリズムと比較する。
  論文  参考訳（メタデータ） (2023-12-12T14:53:18Z)
• Flow-based Distributionally Robust Optimization [23.232731771848883]
  We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。 我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。 本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
  論文  参考訳（メタデータ） (2023-10-30T03:53:31Z)
• Neural Wasserstein Gradient Flows for Maximum Mean Discrepancies with Riesz Kernels [1.3654846342364308]
  非滑らかなリース核を持つ最大平均差分関数(MMD)のワッサーシュタイン勾配流は、リッチな構造を示す。 本稿では,ヨルダン,キンデレーア,オットーの逆方向スキームを近似して,ワッサーシュタイン勾配流の計算法を提案する。 ダイラック測度から始まるワッサーシュタインスキームの解析式を提供し、時間ステップサイズがゼロになる傾向にあるときにそれらの収束を示す。
  論文  参考訳（メタデータ） (2023-01-27T09:57:36Z)
• Manifold Interpolating Optimal-Transport Flows for Trajectory Inference [64.94020639760026]
  最適輸送流(MIOFlow)を補間するマニフォールド補間法を提案する。 MIOFlowは、散発的なタイムポイントで撮影された静的スナップショットサンプルから、連続的な人口動態を学習する。 本手法は, 胚体分化および急性骨髄性白血病の治療から得られたscRNA-seqデータとともに, 分岐とマージによるシミュレーションデータについて検討した。
  論文  参考訳（メタデータ） (2022-06-29T22:19:03Z)
• Extension of Dynamic Mode Decomposition for dynamic systems with incomplete information based on t-model of optimal prediction [69.81996031777717]
  動的モード分解は、動的データを研究するための非常に効率的な手法であることが証明された。 このアプローチの適用は、利用可能なデータが不完全である場合に問題となる。 本稿では,森-Zwanzig分解の1次近似を考察し,対応する最適化問題を記述し,勾配に基づく最適化法を用いて解く。
  論文  参考訳（メタデータ） (2022-02-23T11:23:59Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。