論文の概要: Continuous-time Riemannian SGD and SVRG Flows on Wasserstein Probabilistic Space

• arxiv url: http://arxiv.org/abs/2401.13530v3
• Date: Fri, 24 May 2024 08:04:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 23:26:50.608027
• Title: Continuous-time Riemannian SGD and SVRG Flows on Wasserstein Probabilistic Space
• Title（参考訳）: ワッサーシュタイン確率空間上の連続時間リーマンSGDとSVRG流れ
• Authors: Mingyang Yi, Bohan Wang,
• Abstract要約: 我々はワッサーシュタイン空間上の勾配流を勾配降下流(SGD)と分散還元流(SVRG)に拡張する。 ワッサーシュタイン空間の性質を利用して、ユークリッド空間における対応する離散力学を近似するために微分方程式を構築する。 この結果はユークリッド空間における結果と一致することが証明されている。
• 参考スコア（独自算出の注目度）: 17.13355049019388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, optimization on the Riemannian manifold has provided new insights to the optimization community. In this regard, the manifold taken as the probability measure metric space equipped with the second-order Wasserstein distance is of particular interest, since optimization on it can be linked to practical sampling processes. In general, the standard (continuous) optimization method on Wasserstein space is Riemannian gradient flow (i.e., Langevin dynamics when minimizing KL divergence). In this paper, we aim to enrich the continuous optimization methods in the Wasserstein space, by extending the gradient flow on it into the stochastic gradient descent (SGD) flow and stochastic variance reduction gradient (SVRG) flow. The two flows in Euclidean space are standard continuous stochastic methods, while their Riemannian counterparts are unexplored. By leveraging the property of Wasserstein space, we construct stochastic differential equations (SDEs) to approximate the corresponding discrete dynamics of desired Riemannian stochastic methods in Euclidean space. Then, our probability measures flows are obtained by the Fokker-Planck equation. Finally, the convergence rates of our Riemannian stochastic flows are proven, which match the results in Euclidean space.
• Abstract（参考訳）: 近年、リーマン多様体上の最適化は、最適化コミュニティに新たな洞察を与えている。 この点において、二階ワッサーシュタイン距離を備えた確率測度距離空間として取られる多様体は、実際のサンプリングプロセスと結びつくことができるため、特に興味深い。 一般に、ワッサーシュタイン空間上の標準的な(連続的な)最適化法はリーマン勾配流(すなわち、KL の発散を最小化する際にランゲヴィン力学)である。 本稿では,Wasserstein空間における連続的な最適化手法の強化を目指して,その勾配流を確率勾配勾配勾配(SGD)流と確率分散減少勾配(SVRG)流に拡張する。 ユークリッド空間の2つのフローは標準的な連続確率的方法であり、リーマン的手法は未探索である。 ワッサーシュタイン空間の性質を利用して、ユークリッド空間における所望のリーマン確率法の対応する離散力学を近似するために確率微分方程式(SDE)を構築する。 次に,Fokker-Planck方程式を用いて確率測定フローを求める。 最後に、リーマン確率流の収束速度が証明され、ユークリッド空間の結果と一致する。

関連論文リスト

• Riemannian Federated Learning via Averaging Gradient Stream [8.75592575216789]
  本稿では,RFedAGS(Federated Averaging Gradient Stream)アルゴリズムの開発と解析を行う。 合成および実世界のデータを用いて数値シミュレーションを行い,提案したRFedAGSの性能を実証した。
  論文  参考訳（メタデータ） (2024-09-11T12:28:42Z)
• Streamlining in the Riemannian Realm: Efficient Riemannian Optimization with Loopless Variance Reduction [4.578425862931332]
  本研究はユークリッドとリーマンの設定の両方で用いられる決定的な還元機構に焦点を当てる。 ユークリッド法により動機付け, コインフリップによって引き起こされる計算で外ループを置換するR法を導入する。 フレームワークとしてR-を用いることで、様々な重要な設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-11T12:49:37Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• First-Order Algorithms for Min-Max Optimization in Geodesic Metric Spaces [93.35384756718868]
  min-maxアルゴリズムはユークリッド設定で解析されている。 指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
  論文  参考訳（メタデータ） (2022-06-04T18:53:44Z)
• Variational Wasserstein gradient flow [9.901677207027806]
  本稿では、ワッサーシュタイン勾配流に対するスケーラブルな近位勾配型アルゴリズムを提案する。 この枠組みは熱方程式や多孔質媒質方程式を含む古典的なワッサーシュタイン勾配流を網羅する。
  論文  参考訳（メタデータ） (2021-12-04T20:27:31Z)
• Sliced-Wasserstein Gradient Flows [15.048733056992855]
  確率分布の空間における函数の最小化は、ワッサーシュタイン勾配流によって行うことができる。 本研究は,スライス-ワッサーシュタイン距離による確率測度空間における勾配流の利用を提案する。
  論文  参考訳（メタデータ） (2021-10-21T08:34:26Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)
• Stochastic Normalizing Flows [52.92110730286403]
  微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。 粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。 これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
  論文  参考訳（メタデータ） (2020-02-21T20:47:55Z)
• The Wasserstein Proximal Gradient Algorithm [23.143814848127295]
  ワッサーシュタイン勾配流は、確率測度の空間上の目的関数を最小化するために最も急勾配の曲線を定義する連続時間力学である。 目的関数が滑らかで非滑らかな空間的凸項の和である場合に対処できるフォワードバックワード(FB)離散化スキームを提案する。
  論文  参考訳（メタデータ） (2020-02-07T22:19:32Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。