論文の概要: Continuous-time Riemannian SGD and SVRG Flows on Wasserstein Probabilistic Space

• arxiv url: http://arxiv.org/abs/2401.13530v4
• Date: Tue, 04 Nov 2025 05:13:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:05.499011
• Title: Continuous-time Riemannian SGD and SVRG Flows on Wasserstein Probabilistic Space
• Title（参考訳）: ワッサーシュタイン確率空間上の連続時間リーマンSGDとSVRG流れ
• Authors: Mingyang Yi, Bohan Wang,
• Abstract要約: 我々は、フロー上の勾配を勾配降下に拡張することにより、ワッサーシュタイン空間における連続最適化手法の族を拡張する。 ワッサーシュタイン空間の性質を利用して微分方程式(SDE)を構築し、対応する離散ユークリッド力学を近似する。 最後に、提案した流れの収束速度を確立し、ユークリッド設定で知られている流れと整合する。
• 参考スコア（独自算出の注目度）: 21.12668895845275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, optimization on the Riemannian manifold have provided valuable insights to the optimization community. In this regard, extending these methods to to the Wasserstein space is of particular interest, since optimization on Wasserstein space is closely connected to practical sampling processes. Generally, the standard (continuous) optimization method on Wasserstein space is Riemannian gradient flow (i.e., Langevin dynamics when minimizing KL divergence). In this paper, we aim to enrich the family of continuous optimization methods in the Wasserstein space, by extending the gradient flow on it into the stochastic gradient descent (SGD) flow and stochastic variance reduction gradient (SVRG) flow. By leveraging the property of Wasserstein space, we construct stochastic differential equations (SDEs) to approximate the corresponding discrete Euclidean dynamics of the desired Riemannian stochastic methods. Then, we obtain the flows in Wasserstein space by Fokker-Planck equation. Finally, we establish convergence rates of the proposed stochastic flows, which align with those known in the Euclidean setting.
• Abstract（参考訳）: 近年、リーマン多様体上の最適化は、最適化コミュニティに貴重な洞察を与えている。 この点において、ワッサーシュタイン空間上の最適化は実用的なサンプリングプロセスと密接に関連しているので、これらの手法をワッサーシュタイン空間に拡張することは特に興味深い。 一般に、ワッサーシュタイン空間上の標準的な(連続的な)最適化法はリーマン勾配流(すなわち、KL発散を最小化する際にランゲヴィン力学)である。 本稿では,Wasserstein空間における連続的な最適化手法のファミリを,その上の勾配流を確率勾配勾配勾配(SGD)流と確率分散減少勾配(SVRG)流に拡張することを目的としている。 ワッサーシュタイン空間の性質を利用することで、所望のリーマン確率法の対応する離散ユークリッド力学を近似するために確率微分方程式(SDE)を構築する。 そして、フォッカー・プランク方程式によりワッサーシュタイン空間のフローを得る。 最後に,提案した確率流の収束速度をユークリッド設定で知られている流れと一致させる。

関連論文リスト

• Riemannian Neural Geodesic Interpolant [15.653104625330062]
  微分補間子は、2つの任意の確率密度関数を有限時間でブリッジする効率的な生成モデルである。 これらのモデルは主にユークリッド空間で開発されており、多くの分布学習問題への応用に限られている。 2つの確率密度の間を補間するリーマン測地補間(RNGI)モデルを導入する。
  論文  参考訳（メタデータ） (2025-04-22T09:28:29Z)
• Riemannian Federated Learning via Averaging Gradient Stream [8.75592575216789]
  本稿では,RFedAGS(Federated Averaging Gradient Stream)アルゴリズムの開発と解析を行う。 合成および実世界のデータを用いて数値シミュレーションを行い,提案したRFedAGSの性能を実証した。
  論文  参考訳（メタデータ） (2024-09-11T12:28:42Z)
• Streamlining in the Riemannian Realm: Efficient Riemannian Optimization with Loopless Variance Reduction [4.578425862931332]
  本研究はユークリッドとリーマンの設定の両方で用いられる決定的な還元機構に焦点を当てる。 ユークリッド法により動機付け, コインフリップによって引き起こされる計算で外ループを置換するR法を導入する。 フレームワークとしてR-を用いることで、様々な重要な設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-11T12:49:37Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• First-Order Algorithms for Min-Max Optimization in Geodesic Metric Spaces [93.35384756718868]
  min-maxアルゴリズムはユークリッド設定で解析されている。 指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
  論文  参考訳（メタデータ） (2022-06-04T18:53:44Z)
• Variational Wasserstein gradient flow [9.901677207027806]
  本稿では、ワッサーシュタイン勾配流に対するスケーラブルな近位勾配型アルゴリズムを提案する。 この枠組みは熱方程式や多孔質媒質方程式を含む古典的なワッサーシュタイン勾配流を網羅する。
  論文  参考訳（メタデータ） (2021-12-04T20:27:31Z)
• Sliced-Wasserstein Gradient Flows [15.048733056992855]
  確率分布の空間における函数の最小化は、ワッサーシュタイン勾配流によって行うことができる。 本研究は,スライス-ワッサーシュタイン距離による確率測度空間における勾配流の利用を提案する。
  論文  参考訳（メタデータ） (2021-10-21T08:34:26Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)
• Stochastic Normalizing Flows [52.92110730286403]
  微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。 粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。 これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
  論文  参考訳（メタデータ） (2020-02-21T20:47:55Z)
• The Wasserstein Proximal Gradient Algorithm [23.143814848127295]
  ワッサーシュタイン勾配流は、確率測度の空間上の目的関数を最小化するために最も急勾配の曲線を定義する連続時間力学である。 目的関数が滑らかで非滑らかな空間的凸項の和である場合に対処できるフォワードバックワード(FB)離散化スキームを提案する。
  論文  参考訳（メタデータ） (2020-02-07T22:19:32Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。