論文の概要: Large-Scale Wasserstein Gradient Flows

• arxiv url: http://arxiv.org/abs/2106.00736v1
• Date: Tue, 1 Jun 2021 19:21:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 14:26:11.378767
• Title: Large-Scale Wasserstein Gradient Flows
• Title（参考訳）: 大規模ワッサースタイン勾配流れ
• Authors: Petr Mokrov, Alexander Korotin, Lingxiao Li, Aude Genevay, Justin Solomon, Evgeny Burnaev
• Abstract要約: ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
• 参考スコア（独自算出の注目度）: 84.73670288608025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wasserstein gradient flows provide a powerful means of understanding and solving many diffusion equations. Specifically, Fokker-Planck equations, which model the diffusion of probability measures, can be understood as gradient descent over entropy functionals in Wasserstein space. This equivalence, introduced by Jordan, Kinderlehrer and Otto, inspired the so-called JKO scheme to approximate these diffusion processes via an implicit discretization of the gradient flow in Wasserstein space. Solving the optimization problem associated to each JKO step, however, presents serious computational challenges. We introduce a scalable method to approximate Wasserstein gradient flows, targeted to machine learning applications. Our approach relies on input-convex neural networks (ICNNs) to discretize the JKO steps, which can be optimized by stochastic gradient descent. Unlike previous work, our method does not require domain discretization or particle simulation. As a result, we can sample from the measure at each time step of the diffusion and compute its probability density. We demonstrate our algorithm's performance by computing diffusions following the Fokker-Planck equation and apply it to unnormalized density sampling as well as nonlinear filtering.
• Abstract（参考訳）: ワッサーシュタイン勾配流は多くの拡散方程式を理解・解く強力な手段を提供する。 具体的には、確率測度の拡散をモデル化するフォッカー・プランク方程式は、ワッサーシュタイン空間におけるエントロピー汎函数の勾配勾配として理解することができる。 この同値性はjordan、kinderlehrer、ottoによって導入され、いわゆるjkoスキームに触発され、ワッサーシュタイン空間の勾配流の暗黙の離散化を通じてこれらの拡散過程を近似した。 しかし、各JKOステップに関連する最適化問題を解くことは、深刻な計算上の課題をもたらす。 機械学習アプリケーションを対象として,Wasserstein勾配流を近似するスケーラブルな手法を提案する。 提案手法は, 確率勾配降下により最適化できるJKOステップを識別するために, 入力凸ニューラルネットワーク(ICNN)に依存する。 従来の研究と異なり, この手法では領域離散化や粒子シミュレーションは不要である。 その結果、拡散の各時間ステップにおける測度からサンプルを採取し、その確率密度を計算することができる。 フォッカー・プランク方程式に従う拡散を計算し,非正規化密度サンプリングや非線形フィルタリングに適用することにより,アルゴリズムの性能を実証する。

関連論文リスト

• Diffusion Density Estimators [0.0]
  本稿では,フローを解くことなくログ密度を計算できる新しい並列化手法を提案する。 我々のアプローチは、モンテカルロによる経路積分を、拡散モデルのシミュレーション不要な訓練と同一の方法で推定することに基づいている。
  論文  参考訳（メタデータ） (2024-10-09T15:21:53Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Variational Wasserstein gradient flow [9.901677207027806]
  本稿では、ワッサーシュタイン勾配流に対するスケーラブルな近位勾配型アルゴリズムを提案する。 この枠組みは熱方程式や多孔質媒質方程式を含む古典的なワッサーシュタイン勾配流を網羅する。
  論文  参考訳（メタデータ） (2021-12-04T20:27:31Z)
• Sliced-Wasserstein Gradient Flows [15.048733056992855]
  確率分布の空間における函数の最小化は、ワッサーシュタイン勾配流によって行うことができる。 本研究は,スライス-ワッサーシュタイン距離による確率測度空間における勾配流の利用を提案する。
  論文  参考訳（メタデータ） (2021-10-21T08:34:26Z)
• Continuous Wasserstein-2 Barycenter Estimation without Minimax Optimization [94.18714844247766]
  ワッサーシュタイン・バリセンターは、最適輸送に基づく確率測度の重み付き平均の幾何学的概念を提供する。 本稿では,Wasserstein-2 バリセンタのサンプルアクセスを演算するスケーラブルなアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-02T21:01:13Z)
• Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
  分散最適化問題は機械学習や統計学で広く発生する。 本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。 目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
  論文  参考訳（メタデータ） (2020-12-21T18:33:13Z)
• The Wasserstein Proximal Gradient Algorithm [23.143814848127295]
  ワッサーシュタイン勾配流は、確率測度の空間上の目的関数を最小化するために最も急勾配の曲線を定義する連続時間力学である。 目的関数が滑らかで非滑らかな空間的凸項の和である場合に対処できるフォワードバックワード(FB)離散化スキームを提案する。
  論文  参考訳（メタデータ） (2020-02-07T22:19:32Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。