論文の概要: Gradient Flows and Riemannian Structure in the Gromov-Wasserstein Geometry
- arxiv url: http://arxiv.org/abs/2407.11800v1
- Date: Tue, 16 Jul 2024 14:53:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 14:23:08.650223
- Title: Gradient Flows and Riemannian Structure in the Gromov-Wasserstein Geometry
- Title（参考訳）: グロモフ・ワッサーシュタイン幾何学における勾配流れとリーマン構造
- Authors: Zhengxin Zhang, Ziv Goldfeld, Kristjan Greenewald, Youssef Mroueh, Bharath K. Sriperumbudur,
- Abstract要約: 本稿ではGromov-Wasserstein(GW)幾何学における勾配流について検討する。
本稿では,$mathbbRd上の分布間の内部積 GW (IGW) 距離に着目した。
固有IGW幾何を創り出す固有IGW幾何を同定し,それを用いて,IGWのベナモ・ブレニエ式を定式化する。
- 参考スコア（独自算出の注目度）: 29.650065650233223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Wasserstein space of probability measures is known for its intricate Riemannian structure, which underpins the Wasserstein geometry and enables gradient flow algorithms. However, the Wasserstein geometry may not be suitable for certain tasks or data modalities. Motivated by scenarios where the global structure of the data needs to be preserved, this work initiates the study of gradient flows and Riemannian structure in the Gromov-Wasserstein (GW) geometry, which is particularly suited for such purposes. We focus on the inner product GW (IGW) distance between distributions on $\mathbb{R}^d$. Given a functional $\mathsf{F}:\mathcal{P}_2(\mathbb{R}^d)\to\mathbb{R}$ to optimize, we present an implicit IGW minimizing movement scheme that generates a sequence of distributions $\{\rho_i\}_{i=0}^n$, which are close in IGW and aligned in the 2-Wasserstein sense. Taking the time step to zero, we prove that the discrete solution converges to an IGW generalized minimizing movement (GMM) $(\rho_t)_t$ that follows the continuity equation with a velocity field $v_t\in L^2(\rho_t;\mathbb{R}^d)$, specified by a global transformation of the Wasserstein gradient of $\mathsf{F}$. The transformation is given by a mobility operator that modifies the Wasserstein gradient to encode not only local information, but also global structure. Our gradient flow analysis leads us to identify the Riemannian structure that gives rise to the intrinsic IGW geometry, using which we establish a Benamou-Brenier-like formula for IGW. We conclude with a formal derivation, akin to the Otto calculus, of the IGW gradient as the inverse mobility acting on the Wasserstein gradient. Numerical experiments validating our theory and demonstrating the global nature of IGW interpolations are provided.
- Abstract（参考訳）: 確率測度のワッサーシュタイン空間は、その複雑なリーマン構造で知られ、ワッサーシュタイン幾何学の基盤となり、勾配流アルゴリズムを可能にする。
しかし、ワッサーシュタイン幾何学は特定のタスクやデータモダリティには適さないかもしれない。
データのグローバル構造を保存する必要があるシナリオによって動機付けられ、この研究はグロモフ・ワッサーシュタイン(Gromov-Wasserstein, GW)幾何学における勾配流とリーマン構造の研究を開始する。
我々は、$\mathbb{R}^d$ 上の分布間の内積 GW (IGW) 距離に焦点を当てる。
関数 $\mathsf{F}:\mathcal{P}_2(\mathbb{R}^d)\to\mathbb{R}$ が与えられたとき、分布列を生成する暗黙のIGW最小化運動スキームを提示する。
時間ステップをゼロにすると、離散解は、速度場 $v_t\in L^2(\rho_t;\mathbb{R}^d)$ で連続性方程式に従うIGW一般化最小化運動(GMM)$(\rho_t)_t$ に収束する。
この変換は、ワッサーシュタイン勾配を変更して局所情報だけでなく大域構造も符号化する移動作用素によって与えられる。
勾配流解析により、本質的なIGW幾何を生じさせるリーマン構造を同定し、IGWのベナモ・ブレンニエ式を定式化する。
我々は、ワッサーシュタイン勾配に作用する逆モビリティとしてIGW勾配のオットー積分(Otto calculus)に類似した形式的導出を結論付けている。
我々の理論を検証し、IGW補間のグローバルな性質を実証する数値実験を行った。
関連論文リスト
- Neural Sampling from Boltzmann Densities: Fisher-Rao Curves in the Wasserstein Geometry [1.609940380983903]
正規化されていないボルツマン密度$rho_D$から、$f_t$で与えられるボルツマン曲線を学習することで、サンプリングを行う。
M'at'e と Fleuret に触発されて、f_t$ のみをパラメータ化し、適切な $v_t$ を修正する方法を提案する。
これはランゲヴィン力学に関連するクルバック・リーブラー発散のワッサーシュタインフローに対応する。
論文 参考訳（メタデータ） (2024-10-04T09:54:11Z) - Global $\mathcal{L}^2$ minimization at uniform exponential rate via geometrically adapted gradient descent in Deep Learning [1.4050802766699084]
本稿では,ディープラーニング(DL)ネットワークにおける教師あり学習のシナリオについて考察する。
DLネットワークの出力層におけるユークリッド計量に対する勾配流を選択する。
論文 参考訳（メタデータ） (2023-11-27T02:12:02Z) - Bridging the Gap Between Variational Inference and Wasserstein Gradient
Flows [6.452626686361619]
我々は変分推論とワッサーシュタイン勾配流のギャップを埋める。
ある条件下では、ビュール=ヴァッサーシュタイン勾配流はユークリッド勾配流として再キャストすることができる。
また,Wasserstein勾配流に対する蒸留法としてフレーミングすることで,経路微分勾配の別の視点も提供する。
論文 参考訳（メタデータ） (2023-10-31T00:10:19Z) - Decentralized Riemannian Conjugate Gradient Method on the Stiefel
Manifold [59.73080197971106]
本稿では,最急降下法よりも高速に収束する一階共役最適化法を提案する。
これはスティーフェル多様体上の大域収束を達成することを目的としている。
論文 参考訳（メタデータ） (2023-08-21T08:02:16Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Variational Wasserstein gradient flow [9.901677207027806]
本稿では、ワッサーシュタイン勾配流に対するスケーラブルな近位勾配型アルゴリズムを提案する。
この枠組みは熱方程式や多孔質媒質方程式を含む古典的なワッサーシュタイン勾配流を網羅する。
論文 参考訳（メタデータ） (2021-12-04T20:27:31Z) - Large-Scale Wasserstein Gradient Flows [84.73670288608025]
ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。
我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。
その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
論文 参考訳（メタデータ） (2021-06-01T19:21:48Z) - Learning High Dimensional Wasserstein Geodesics [55.086626708837635]
高次元の2つの確率分布の間のワッサーシュタイン測地線を計算するための新しい定式化と学習戦略を提案する。
ラグランジュ乗算器の手法を最適輸送(OT)問題の動的定式化に適用することにより、サドル点がワッサーシュタイン測地線であるミニマックス問題を導出する。
次に、深層ニューラルネットワークによる関数のパラメータ化を行い、トレーニングのためのサンプルベースの双方向学習アルゴリズムを設計する。
論文 参考訳（メタデータ） (2021-02-05T04:25:28Z) - On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient
Flow [26.725412498545385]
パラメトリックカーネル化勾配流は、勾配正規化$mathrmMMD$GANにおけるmin-maxゲームに類似していることを示す。
次に、正規化$mathrmMMD$GANにおける生成元の空間上の勾配降下が、対象分布に大域的に収束することを保証する明示的な条件を導出する。
論文 参考訳（メタデータ） (2020-11-04T16:55:00Z) - A diffusion approach to Stein's method on Riemannian manifolds [65.36007959755302]
我々は、ターゲット不変測度を持つ$mathbf M$上の拡散の生成元と、その特徴付けStein演算子との関係を利用する。
我々は、スタイン方程式とその微分に解を束縛するスタイン因子を導出する。
我々は、$mathbf M$ が平坦多様体であるとき、$mathbb Rm$ の有界が有効であることを暗示する。
論文 参考訳（メタデータ） (2020-03-25T17:03:58Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。