論文の概要: Iterated Schrödinger bridge approximation to Wasserstein Gradient Flows
- arxiv url: http://arxiv.org/abs/2406.10823v1
- Date: Sun, 16 Jun 2024 07:23:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 20:41:29.313297
- Title: Iterated Schrödinger bridge approximation to Wasserstein Gradient Flows
- Title（参考訳）: ワッサーシュタイン勾配流れに対する反復シュレーディンガー橋近似
- Authors: Medha Agarwal, Zaid Harchaoui, Garrett Mulcahy, Soumik Pal,
- Abstract要約: 我々は、同じ辺を持つシュリンガー橋を連続的に計算するワッサーシュタイン勾配流の新しい離散化スキームを導入する。
提案手法には2つの利点がある: 1つはスコア関数の使用を回避し、もう1つはシンクホーンアルゴリズムを用いて粒子ベースの近似を行うことができる。
- 参考スコア（独自算出の注目度）: 1.5561923713703105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a novel discretization scheme for Wasserstein gradient flows that involves successively computing Schr\"{o}dinger bridges with the same marginals. This is different from both the forward/geodesic approximation and the backward/Jordan-Kinderlehrer-Otto (JKO) approximations. The proposed scheme has two advantages: one, it avoids the use of the score function, and, two, it is amenable to particle-based approximations using the Sinkhorn algorithm. Our proof hinges upon showing that relative entropy between the Schr\"{o}dinger bridge with the same marginals at temperature $\epsilon$ and the joint distribution of a stationary Langevin diffusion at times zero and $\epsilon$ is of the order $o(\epsilon^2)$ with an explicit dependence given by Fisher information. Owing to this inequality, we can show, using a triangular approximation argument, that the interpolated iterated application of the Schr\"{o}dinger bridge approximation converge to the Wasserstein gradient flow, for a class of gradient flows, including the heat flow. The results also provide a probabilistic and rigorous framework for the convergence of the self-attention mechanisms in transformer networks to the solutions of heat flows, first observed in the inspiring work SABP22 in machine learning research.
- Abstract（参考訳）: 我々は、同じ辺を持つSchr\"{o}dinger Bridgeを逐次計算するワッサーシュタイン勾配流の新しい離散化スキームを導入する。
これは前方/測地近似と後方/ジョルダン・キンデレラー・オットー(JKO)近似とが異なる。
提案手法には2つの利点がある: 1つはスコア関数の使用を回避し、もう1つはシンクホーンアルゴリズムを用いて粒子ベースの近似を行うことができる。
我々の証明は、温度$\epsilon$ で同じ限界を持つシュル「{o}dinger 橋と、0 で定常ランゲヴィン拡散の合同分布の相対エントロピーが、フィッシャー情報によって与えられる明示的な依存を持つ位数$o(\epsilon^2)$ であることを示すものである。
この不等式により、三角近似論を用いて、熱流を含む勾配流のクラスに対して、シュルンディンガー橋近似の補間された繰り返し適用がワッサーシュタイン勾配流に収束することを示すことができる。
この結果は、トランスフォーマーネットワークにおける自己保持機構を熱流の解に収束させるための確率的かつ厳密な枠組みを提供する。
関連論文リスト
- Wasserstein Mirror Gradient Flow as the limit of the Sinkhorn Algorithm [0.15749416770494706]
シンクホーンアルゴリズムの反復から得られる限界の列が、ワッサーシュタイン空間上の絶対連続曲線に収束することを証明する。
この極限はシンクホーンフローと呼ばれ、ワッサーシュタインミラー勾配流の例である。
論文 参考訳（メタデータ） (2023-07-31T06:11:47Z) - Variational Gaussian filtering via Wasserstein gradient flows [6.023171219551961]
ガウスとガウスの混合フィルタを近似する新しい手法を提案する。
本手法は勾配流表現による変分近似に依存する。
論文 参考訳（メタデータ） (2023-03-11T12:22:35Z) - Min-Max Optimization Made Simple: Approximating the Proximal Point
Method via Contraction Maps [77.8999425439444]
本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。
我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
論文 参考訳（メタデータ） (2023-01-10T12:18:47Z) - Structural aspects of FRG in quantum tunnelling computations [68.8204255655161]
一次元の4次元高調波発振器とダブルウェルポテンシャルの両方を探索する。
ポテンシャルV_k(varphi)と波動関数再正規化Z_k(varphi)の2つの偏微分方程式について検討した。
論文 参考訳（メタデータ） (2022-06-14T15:23:25Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Deep Generative Learning via Schr\"{o}dinger Bridge [14.138796631423954]
エントロピーにより生成モデルをSchr"odinger Bridgeで学習する。
Schr"odinger Bridge による生成モデルは最先端の GAN に匹敵することを示す。
論文 参考訳（メタデータ） (2021-06-19T03:35:42Z) - Non-asymptotic convergence bounds for Wasserstein approximation using
point clouds [0.0]
モデル確率分布からサンプルしたような離散データを生成する方法を示す。
収束型アルゴリズムに対して明示的な上限を与える。
論文 参考訳（メタデータ） (2021-06-15T06:53:08Z) - Large-Scale Wasserstein Gradient Flows [84.73670288608025]
ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。
我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。
その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
論文 参考訳（メタデータ） (2021-06-01T19:21:48Z) - Wasserstein distance estimates for the distributions of numerical
approximations to ergodic stochastic differential equations [0.3553493344868413]
エルゴード微分方程式のイン分布と強い対数凸の場合の分布との間のワッサースタイン距離について検討した。
これにより、過減衰および過減衰ランジュバン力学の文献で提案されている多くの異なる近似を統一的に研究することができる。
論文 参考訳（メタデータ） (2021-04-26T07:50:04Z) - Continuous Regularized Wasserstein Barycenters [51.620781112674024]
正規化ワッサーシュタイン・バリセンタ問題に対する新しい双対定式化を導入する。
我々は、強い双対性を確立し、対応する主対関係を用いて、正規化された輸送問題の双対ポテンシャルを用いて暗黙的にバリセンターをパラメトリゼーションする。
論文 参考訳（メタデータ） (2020-08-28T08:28:06Z) - Debiased Sinkhorn barycenters [110.79706180350507]
最適輸送(OT)におけるエントロピー正則化(Entropy regularization)は、機械学習におけるWassersteinメトリクスやバリセンタに対する近年の関心の原動力となっている。
このバイアスがエントロピー正則化器を定義する基準測度とどのように密接に関連しているかを示す。
両世界の長所を保ち、エントロピーを滑らかにしないシンクホーン様の高速な反復をデバイアスド・ワッサースタインのバリセンタとして提案する。
論文 参考訳（メタデータ） (2020-06-03T23:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。