論文の概要: Variational Wasserstein gradient flow

• arxiv url: http://arxiv.org/abs/2112.02424v1
• Date: Sat, 4 Dec 2021 20:27:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 17:04:40.486094
• Title: Variational Wasserstein gradient flow
• Title（参考訳）: 変分ワッサースタイン勾配流
• Authors: Jiaojiao Fan, Amirhossein Taghvaei, Yongxin Chen
• Abstract要約: 本稿では、ワッサーシュタイン勾配流に対するスケーラブルな近位勾配型アルゴリズムを提案する。 この枠組みは熱方程式や多孔質媒質方程式を含む古典的なワッサーシュタイン勾配流を網羅する。
• 参考スコア（独自算出の注目度）: 9.901677207027806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The gradient flow of a function over the space of probability densities with respect to the Wasserstein metric often exhibits nice properties and has been utilized in several machine learning applications. The standard approach to compute the Wasserstein gradient flow is the finite difference which discretizes the underlying space over a grid, and is not scalable. In this work, we propose a scalable proximal gradient type algorithm for Wasserstein gradient flow. The key of our method is a variational formulation of the objective function, which makes it possible to realize the JKO proximal map through a primal-dual optimization. This primal-dual problem can be efficiently solved by alternatively updating the parameters in the inner and outer loops. Our framework covers all the classical Wasserstein gradient flows including the heat equation and the porous medium equation. We demonstrate the performance and scalability of our algorithm with several numerical examples.
• Abstract（参考訳）: ワッサースタイン計量に対する確率密度の空間上の関数の勾配流れは、しばしば良い性質を示し、いくつかの機械学習アプリケーションで利用されている。 ワッサーシュタイン勾配流を計算する標準的なアプローチは、グリッド上の基礎空間を離散化し、拡張性がない有限差分である。 本研究では,ワッサースタイン勾配流のためのスケーラブルな近位勾配型アルゴリズムを提案する。 本手法の鍵となるのは目的関数の変分定式化であり,JKO近位写像を原始双対最適化により実現することができる。 この原始双対問題は、内ループと外ループのパラメータを更新することで効率よく解ける。 この枠組みは熱方程式や多孔質媒質方程式を含む古典的なワッサーシュタイン勾配流を網羅する。 本アルゴリズムの性能とスケーラビリティをいくつかの数値例で示す。

関連論文リスト

• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Bridging the Gap Between Variational Inference and Wasserstein Gradient Flows [6.452626686361619]
  我々は変分推論とワッサーシュタイン勾配流のギャップを埋める。 ある条件下では、ビュール=ヴァッサーシュタイン勾配流はユークリッド勾配流として再キャストすることができる。 また,Wasserstein勾配流に対する蒸留法としてフレーミングすることで,経路微分勾配の別の視点も提供する。
  論文  参考訳（メタデータ） (2023-10-31T00:10:19Z)
• Regularized Stein Variational Gradient Flow [22.69908798297709]
  Stein Variational Gradient Descent (SVGD)アルゴリズムは、サンプリングのための決定論的粒子法である。 本研究では, 定常変分勾配流とワッサーシュタイン勾配流とを補間する正規化スタイン変分勾配流を提案する。
  論文  参考訳（メタデータ） (2022-11-15T02:56:46Z)
• Optimal Neural Network Approximation of Wasserstein Gradient Direction via Convex Optimization [43.6961980403682]
  ワッサーシュタイン勾配方向の計算は、後続サンプリング問題や科学計算に不可欠である。 正方形ReLUアクティベーションを持つ2層ネットワーク群において、半定値プログラミング(SDP)緩和を導出する変動問題について検討する。 このSDPは、2層ネットワークを含むより広い関数群におけるワッサーシュタイン勾配の近似と見なすことができる。
  論文  参考訳（メタデータ） (2022-05-26T00:51:12Z)
• Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
  StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。 本稿では,完全勾配の必要性を除去する。 集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
  論文  参考訳（メタデータ） (2021-11-26T06:00:44Z)
• Sliced-Wasserstein Gradient Flows [15.048733056992855]
  確率分布の空間における函数の最小化は、ワッサーシュタイン勾配流によって行うことができる。 本研究は,スライス-ワッサーシュタイン距離による確率測度空間における勾配流の利用を提案する。
  論文  参考訳（メタデータ） (2021-10-21T08:34:26Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)
• Learning High Dimensional Wasserstein Geodesics [55.086626708837635]
  高次元の2つの確率分布の間のワッサーシュタイン測地線を計算するための新しい定式化と学習戦略を提案する。 ラグランジュ乗算器の手法を最適輸送(OT)問題の動的定式化に適用することにより、サドル点がワッサーシュタイン測地線であるミニマックス問題を導出する。 次に、深層ニューラルネットワークによる関数のパラメータ化を行い、トレーニングのためのサンプルベースの双方向学習アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-02-05T04:25:28Z)
• Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
  分散最適化問題は機械学習や統計学で広く発生する。 本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。 目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
  論文  参考訳（メタデータ） (2020-12-21T18:33:13Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。