論文の概要: The Wasserstein Proximal Gradient Algorithm
- arxiv url: http://arxiv.org/abs/2002.03035v3
- Date: Sun, 21 Feb 2021 13:57:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 05:02:27.804419
- Title: The Wasserstein Proximal Gradient Algorithm
- Title（参考訳）: Wasserstein近位勾配アルゴリズム
- Authors: Adil Salim, Anna Korba, Giulia Luise
- Abstract要約: ワッサーシュタイン勾配流は、確率測度の空間上の目的関数を最小化するために最も急勾配の曲線を定義する連続時間力学である。
目的関数が滑らかで非滑らかな空間的凸項の和である場合に対処できるフォワードバックワード(FB)離散化スキームを提案する。
- 参考スコア（独自算出の注目度）: 23.143814848127295
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Wasserstein gradient flows are continuous time dynamics that define curves of
steepest descent to minimize an objective function over the space of
probability measures (i.e., the Wasserstein space). This objective is typically
a divergence w.r.t. a fixed target distribution. In recent years, these
continuous time dynamics have been used to study the convergence of machine
learning algorithms aiming at approximating a probability distribution.
However, the discrete-time behavior of these algorithms might differ from the
continuous time dynamics. Besides, although discretized gradient flows have
been proposed in the literature, little is known about their minimization
power. In this work, we propose a Forward Backward (FB) discretization scheme
that can tackle the case where the objective function is the sum of a smooth
and a nonsmooth geodesically convex terms. Using techniques from convex
optimization and optimal transport, we analyze the FB scheme as a minimization
algorithm on the Wasserstein space. More precisely, we show under mild
assumptions that the FB scheme has convergence guarantees similar to the
proximal gradient algorithm in Euclidean spaces.
- Abstract（参考訳）: ワッサーシュタイン勾配流は、確率測度(すなわちワッサーシュタイン空間)の空間上の目的関数を最小化するために最も急降下の曲線を定義する連続時間力学である。
この目的は通常、固定された目標分布の発散である。
近年,確率分布の近似を目的とした機械学習アルゴリズムの収束の研究に,このような連続時間ダイナミクスが用いられている。
しかし、これらのアルゴリズムの離散時間挙動は連続時間ダイナミクスと異なる可能性がある。
また,本論文では離散勾配流が提案されているが,その最小化力についてはほとんど分かっていない。
本研究では,対象関数が滑らかかつ非滑らかな測地線凸項の和である場合に対応するための前方逆(fb)離散化スキームを提案する。
凸最適化と最適輸送の手法を用いて、FBスキームをワッサーシュタイン空間上の最小化アルゴリズムとして解析する。
より正確には、FBスキームがユークリッド空間の近勾配アルゴリズムと同様の収束を保証するという軽度の仮定の下で示される。
関連論文リスト
- A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Continuous-time Riemannian SGD and SVRG Flows on Wasserstein Probabilistic Space [17.13355049019388]
我々はワッサーシュタイン空間上の勾配流を勾配降下流(SGD)と分散還元流(SVRG)に拡張する。
ワッサーシュタイン空間の性質を利用して、ユークリッド空間における対応する離散力学を近似するために微分方程式を構築する。
この結果はユークリッド空間における結果と一致することが証明されている。
論文 参考訳（メタデータ） (2024-01-24T15:35:44Z) - A Gradient Smoothed Functional Algorithm with Truncated Cauchy Random
Perturbations for Stochastic Optimization [10.820943271350442]
本稿では,雑音の多いコストサンプルに対する期待値であるスムーズな目的関数を最小化するための凸勾配アルゴリズムを提案する。
また,本アルゴリズムは局所最小値への収束を示唆し,レートリリアを回避できることも示している。
論文 参考訳（メタデータ） (2022-07-30T18:50:36Z) - Variational Wasserstein gradient flow [9.901677207027806]
本稿では、ワッサーシュタイン勾配流に対するスケーラブルな近位勾配型アルゴリズムを提案する。
この枠組みは熱方程式や多孔質媒質方程式を含む古典的なワッサーシュタイン勾配流を網羅する。
論文 参考訳（メタデータ） (2021-12-04T20:27:31Z) - Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。
本稿では,完全勾配の必要性を除去する。
集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
論文 参考訳（メタデータ） (2021-11-26T06:00:44Z) - Sliced-Wasserstein Gradient Flows [15.048733056992855]
確率分布の空間における函数の最小化は、ワッサーシュタイン勾配流によって行うことができる。
本研究は,スライス-ワッサーシュタイン距離による確率測度空間における勾配流の利用を提案する。
論文 参考訳（メタデータ） (2021-10-21T08:34:26Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Large-Scale Wasserstein Gradient Flows [84.73670288608025]
ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。
我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。
その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
論文 参考訳（メタデータ） (2021-06-01T19:21:48Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。
本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳（メタデータ） (2020-12-21T18:33:13Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。