論文の概要: Continuous-time Riemannian SGD and SVRG Flows on Wasserstein
Probabilistic Space
- arxiv url: http://arxiv.org/abs/2401.13530v2
- Date: Thu, 25 Jan 2024 07:01:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 11:32:21.573229
- Title: Continuous-time Riemannian SGD and SVRG Flows on Wasserstein
Probabilistic Space
- Title(参考訳): ワッサーシュタイン確率空間上の連続時間リーマンSGDとSVRG流れ
- Authors: Mingyang Yi, Bohan Wang
- Abstract要約: 本稿では,勾配流を勾配降下に拡張することにより,ワッサーシュタイン空間における連続最適化手法の強化を目指す。
確率測度のフローは、そのようなSDEにフォッカー・プランク方程式を適用することによって自然に得られる。
- 参考スコア(独自算出の注目度): 20.241020195398296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, optimization on the Riemannian manifold has provided new insights
to the optimization community. In this regard, the manifold taken as the
probability measure metric space equipped with the second-order Wasserstein
distance is of particular interest, since optimization on it can be linked to
practical sampling processes. In general, the oracle (continuous) optimization
method on Wasserstein space is Riemannian gradient flow (i.e., Langevin
dynamics when minimizing KL divergence). In this paper, we aim to enrich the
continuous optimization methods in the Wasserstein space by extending the
gradient flow into the stochastic gradient descent (SGD) flow and stochastic
variance reduction gradient (SVRG) flow. The two flows on Euclidean space are
standard stochastic optimization methods, while their Riemannian counterparts
are not explored yet. By leveraging the structures in Wasserstein space, we
construct a stochastic differential equation (SDE) to approximate the discrete
dynamics of desired stochastic methods in the corresponded random vector space.
Then, the flows of probability measures are naturally obtained by applying
Fokker-Planck equation to such SDE. Furthermore, the convergence rates of the
proposed Riemannian stochastic flows are proven, and they match the results in
Euclidean space.
- Abstract(参考訳): 近年、リーマン多様体上の最適化は、最適化コミュニティに新たな洞察を与えている。
この点において、二階ワッサースタイン距離を備えた確率測度距離空間として取られる多様体は、実際的なサンプリングプロセスと結びつくことができるので、特に興味がある。
一般に、ワッサーシュタイン空間上のオラクル(連続)最適化法はリーマン勾配流れ(つまり、kl の発散を最小化するときにランゲバンダイナミクス)である。
本稿では,勾配流を確率勾配勾配勾配(SGD)流と確率分散還元勾配(SVRG)流に拡張することにより,ワッサーシュタイン空間における連続的な最適化手法を強化することを目的とする。
ユークリッド空間上の2つの流れは標準確率最適化法であるが、リーマンの対応式はまだ検討されていない。
ワッサーシュタイン空間の構造を利用して、対応するランダムベクトル空間における所望の確率法の離散力学を近似するために確率微分方程式(SDE)を構築する。
そして、そのようなsdeにフォッカープランク方程式を適用することにより、確率測度の流れが自然に得られる。
さらに、提案されたリーマン確率流の収束速度が証明され、ユークリッド空間における結果と一致する。
関連論文リスト
- Momentum Particle Maximum Likelihood [2.6831773062745863]
パラメータと確率分布の拡張空間上の自由エネルギー関数を最小化するための類似システムに基づくアプローチを提案する。
適切な仮定の下では、提案された系を連続時間における一意的な一意の最小化器に定量的に収束させる。
そこで本研究では,潜在変数モデルにおけるパラメータ推定に適用可能な数値的な離散化を提案する。
論文 参考訳(メタデータ) (2023-12-12T14:53:18Z) - Gradient Flows for Sampling: Mean-Field Models, Gaussian Approximations
and Affine Invariance [10.892894776497165]
確率密度空間とガウス空間の両方における勾配流について検討する。
ガウス空間のフローは、フローのガウス近似として理解することができる。
論文 参考訳(メタデータ) (2023-02-21T21:44:08Z) - First-Order Algorithms for Min-Max Optimization in Geodesic Metric
Spaces [93.35384756718868]
min-maxアルゴリズムはユークリッド設定で解析されている。
指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
論文 参考訳(メタデータ) (2022-06-04T18:53:44Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳(メタデータ) (2022-03-30T11:39:00Z) - Sliced-Wasserstein Gradient Flows [15.048733056992855]
確率分布の空間における函数の最小化は、ワッサーシュタイン勾配流によって行うことができる。
本研究は,スライス-ワッサーシュタイン距離による確率測度空間における勾配流の利用を提案する。
論文 参考訳(メタデータ) (2021-10-21T08:34:26Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳(メタデータ) (2021-09-08T18:00:05Z) - Large-Scale Wasserstein Gradient Flows [84.73670288608025]
ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。
我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。
その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
論文 参考訳(メタデータ) (2021-06-01T19:21:48Z) - Stochastic Normalizing Flows [52.92110730286403]
微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。
粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。
これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
論文 参考訳(メタデータ) (2020-02-21T20:47:55Z) - The Wasserstein Proximal Gradient Algorithm [23.143814848127295]
ワッサーシュタイン勾配流は、確率測度の空間上の目的関数を最小化するために最も急勾配の曲線を定義する連続時間力学である。
目的関数が滑らかで非滑らかな空間的凸項の和である場合に対処できるフォワードバックワード(FB)離散化スキームを提案する。
論文 参考訳(メタデータ) (2020-02-07T22:19:32Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳(メタデータ) (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。