論文の概要: Projected Langevin dynamics and a gradient flow for entropic optimal
transport
- arxiv url: http://arxiv.org/abs/2309.08598v1
- Date: Fri, 15 Sep 2023 17:55:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-01 13:04:32.046911
- Title: Projected Langevin dynamics and a gradient flow for entropic optimal
transport
- Title（参考訳）: エントロピー最適輸送のための投影ランジュバンダイナミクスと勾配流れ
- Authors: Giovanni Conforti, Daniel Lacker, Soumik Pal
- Abstract要約: エントロピー規則化された最適輸送からサンプリングした類似拡散力学を導入する。
部分多様体 $Pi(mu,nu)$ の誘導されたワッサーシュタイン幾何学の研究により、SDE はこの結合空間上のワッサーシュタイン勾配フローとみなすことができると論じる。
- 参考スコア（独自算出の注目度）: 0.8057006406834466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The classical (overdamped) Langevin dynamics provide a natural algorithm for
sampling from its invariant measure, which uniquely minimizes an energy
functional over the space of probability measures, and which concentrates
around the minimizer(s) of the associated potential when the noise parameter is
small. We introduce analogous diffusion dynamics that sample from an
entropy-regularized optimal transport, which uniquely minimizes the same energy
functional but constrained to the set $\Pi(\mu,\nu)$ of couplings of two given
marginal probability measures $\mu$ and $\nu$ on $\mathbb{R}^d$, and which
concentrates around the optimal transport coupling(s) for small regularization
parameter. More specifically, our process satisfies two key properties: First,
the law of the solution at each time stays in $\Pi(\mu,\nu)$ if it is
initialized there. Second, the long-time limit is the unique solution of an
entropic optimal transport problem. In addition, we show by means of a new
log-Sobolev-type inequality that the convergence holds exponentially fast, for
sufficiently large regularization parameter and for a class of marginals which
strictly includes all strongly log-concave measures. By studying the induced
Wasserstein geometry of the submanifold $\Pi(\mu,\nu)$, we argue that the SDE
can be viewed as a Wasserstein gradient flow on this space of couplings, at
least when $d=1$, and we identify a conjectural gradient flow for $d \ge 2$.
The main technical difficulties stems from the appearance of conditional
expectation terms which serve to constrain the dynamics to $\Pi(\mu,\nu)$.
- Abstract（参考訳）: 古典的なランジュバン力学はその不変測度からサンプリングするための自然なアルゴリズムを提供し、これは確率測度の空間上のエネルギー汎関数を一意的に最小化し、ノイズパラメータが小さいときに関連するポテンシャルの最小値の周りに集中する。
同じエネルギー汎関数を一意に最小化するが、2つの与えられた辺縁確率測度のカップリングのセット $\pi(\mu,\nu)$ に制約され、$\mathbb{r}^d$ で$\nu$ となり、小さな正規化パラメータのために最適な輸送結合(s)の周りに集中するエントロピー正規化最適輸送からサンプルされる類似の拡散ダイナミクスを導入する。
より具体的には、我々のプロセスは2つの重要な性質を満たす: まず、解の法則は、そこで初期化されている場合、それぞれ$\Pi(\mu,\nu)$に留まる。
第二に、長時間の極限はエントロピー最適輸送問題のユニークな解である。
さらに,収束が指数関数的に高速である新しい対数ソボレフ型不等式を用いて,十分大きな正規化パラメータと,すべての強対数対数測度を厳密に含む辺数のクラスを示す。
部分多様体 $\Pi(\mu,\nu)$ の誘導されたワッサーシュタイン幾何学の研究により、SDE は少なくとも$d=1$ のとき、この結合空間上のワッサーシュタイン勾配フローとみなすことができ、$d \ge 2$ の射影勾配フローを特定することができる。
主な技術的困難は条件付き期待項の出現であり、これは力学を$\pi(\mu,\nu)$に制限するのに役立つ。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise [59.25598762373543]
重み付き雑音の存在下でのストリーミングデータにおける学習の精度保証について検討した。
解析的に、与えられた問題に対する設定の選択に$ta$を使うことができることを実証する。
論文 参考訳（メタデータ） (2023-10-28T18:53:41Z) - Lower Complexity Adaptation for Empirical Entropic Optimal Transport [0.0]
エントロピック最適輸送(EOT)は、非正規化最適輸送(OT)に代わる有効で計算可能な代替手段を示す
EOTコストの実証的なプラグイン推定のための新しい統計的境界を導出する。
この手法は経験的プロセス理論を用いており、単一関数クラス上の EOT の二重定式化に依存している。
論文 参考訳（メタデータ） (2023-06-23T16:06:13Z) - Single Trajectory Nonparametric Learning of Nonlinear Dynamics [8.438421942654292]
力学系の1つの軌道が与えられた場合、非パラメトリック最小二乗推定器(LSE)の性能を解析する。
我々は最近開発された情報理論手法を活用し、非仮説クラスに対するLSEの最適性を確立する。
我々は、リプシッツ力学、一般化線形モデル、再生ケルネルヒルベルト空間(RKHS)のある種のクラスで記述される関数によって記述される力学など、実用上の関心のあるいくつかのシナリオを専門とする。
論文 参考訳（メタデータ） (2022-02-16T19:38:54Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - On Multimarginal Partial Optimal Transport: Equivalent Forms and
Computational Complexity [11.280177531118206]
我々は,少なくとも$n$のサポートを持つ離散的(アンバランスな)測度間のマルチマルジナル部分最適輸送(POT)問題について検討した。
まず、コストテンソルの新たな拡張を通じて、マルチマルジナルな最適輸送問題の観点から、マルチマルジナルPOT問題の2つの等価形式が得られることを証明した。
我々は、ApproxMPOTアルゴリズムが、$tildemathcalO(m3(n+1)m/ varの計算複雑性上界を持つマルチマルジナルPOT問題の最適値を近似できることを実証した。
論文 参考訳（メタデータ） (2021-08-18T06:46:59Z) - Last iterate convergence of SGD for Least-Squares in the Interpolation
regime [19.05750582096579]
基本最小二乗構成におけるノイズレスモデルについて検討する。
最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
論文 参考訳（メタデータ） (2021-02-05T14:02:20Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z) - Function approximation by neural nets in the mean-field regime: Entropic regularization and controlled McKean-Vlasov dynamics [7.1822457112352955]
我々は「ほぼガウス的」なランダム重みを持つ2層ニューラルネットワークによる関数近似の問題を考察する。
この問題は、ウェイト上の確率測度を超える経路空間で機能する自由エネルギーの大域的最小化として表現できることを示す。
論文 参考訳（メタデータ） (2020-02-05T20:50:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。