論文の概要: Quantitative Convergence of Wasserstein Gradient Flows of Kernel Mean Discrepancies
- arxiv url: http://arxiv.org/abs/2603.01977v1
- Date: Mon, 02 Mar 2026 15:32:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.940274
- Title: Quantitative Convergence of Wasserstein Gradient Flows of Kernel Mean Discrepancies
- Title（参考訳）: カーネル平均差のワッサースタイン勾配流れの定量的収束
- Authors: Lénaïc Chizat, Maria Colombo, Roberto Colombo, Xavier Fernández-Real,
- Abstract要約: ケルネル平均離散関数のワッサーシュタイン勾配流の定量的収束について検討した。
我々の設定は、特に無限幅および連続時間制限における浅層ニューラルネットワークのトレーニング力学をカバーしている。
- 参考スコア（独自算出の注目度）: 10.511277414974613
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the quantitative convergence of Wasserstein gradient flows of Kernel Mean Discrepancy (KMD) (also known as Maximum Mean Discrepancy (MMD)) functionals. Our setting covers in particular the training dynamics of shallow neural networks in the infinite-width and continuous time limit, as well as interacting particle systems with pairwise Riesz kernel interaction in the mean-field and overdamped limit. Our main analysis concerns the model case of KMD functionals given by the squared Sobolev distance $ \mathscr{E}^ν_{s}(μ)= \frac{1}{2}\lVert μ-ν\rVert_{\dot H^{-s}}^{2}$ for any $s\geq 1 $ and $ν$ a fixed probability measure on the $d$-dimensional torus. First, inspired by Yudovich theory for the $2d$-Euler equation, we establish existence and uniqueness in natural weak regularity classes. Next, we show that for $s=1$ the flow converges globally at an exponential rate under minimal assumptions, while for $s>1$ we prove local convergence at polynomial rates that depend explicitly on $s$ and on the Sobolev regularity of $μ$ and $ν$. These rates hold both at the energy level and in higher regularity classes and are tight for $ν$ uniform. We then consider the gradient flow of the population loss for shallow neural networks with ReLU activation, which can be cast as a Wasserstein--Fisher--Rao gradient flow on the space of nonnegative measures on the sphere $\mathbb{S}^d$. Exploiting a correspondence with the Sobolev energy case with $s=(d+3)/2$, we derive an explicit polynomial local convergence rate for this dynamics. Except for the special case $s=1$, even non-quantitative convergence was previously open in all these settings. We also include numerical experiments in dimension $d=1$ using both PDE and particle methods which illustrate our analysis.
- Abstract（参考訳）: カーネル平均離散(KMD)関数(最大平均離散(MMD)関数)のワッサースタイン勾配流の定量的収束について検討した。
我々の設定は、特に、無限幅および連続時間制限における浅層ニューラルネットワークのトレーニング力学と、平均場と過大な限界におけるペアワイズカーネル相互作用による相互作用粒子系をカバーしている。
我々の主な分析は、平方ソボレフ距離 $ \mathscr{E}^ν_{s}(μ)= \frac{1}{2}\lVert μ-ν\rVert_{\dot H^{-s}}^{2}$ for any $s\geq 1 $ and $ν$ で与えられる KMD 関数のモデルケースに関するものである。
まず、2d$-オイラー方程式のユドヴィチ理論に着想を得て、自然弱正則類における存在と一意性を確立する。
次に、$s=1$ の場合、フローは最小の仮定の下で指数率でグローバルに収束するのに対し、$s>1$ の場合、$s$ と $μ$ のソボレフ正則性に明示的に依存する多項式レートで局所収束を証明する。
これらの速度はエネルギーレベルと高次正規度クラスの両方で保たれ、$ν$の均一性については厳密である。
次に, 球面$\mathbb{S}^d$ 上の非負測度空間上のWasserstein-Fisher-Rao勾配流として, ReLU 活性化を伴う浅層ニューラルネットワークの集団損失の勾配流を考える。
ソボレフエネルギーの場合と$s=(d+3)/2$の対応を出力すると、この力学に対する明示的な多項式局所収束速度が導かれる。
特別な場合の$s=1$を除いて、非定性収束でさえ以前はこれらすべての設定で開いていた。
また、PDE法と粒子法の両方を用いて次元$d=1$の数値実験を行い、分析を行った。
関連論文リスト
- Generalization Properties of Score-matching Diffusion Models for Intrinsically Low-dimensional Data [32.72306410557258]
有限個のサンプルから未知分布の$$を学習するためのスコアベース拡散モデルの統計的収束について検討する。
以上の結果から,拡散モデルがデータ固有の幾何学に自然に適応していることが示唆された。
我々の理論は, 拡散モデルの解析を, GANと最適輸送で確立された急激なミニマックス速度で橋渡しするものである。
論文 参考訳（メタデータ） (2026-03-04T03:59:02Z) - Expressive Power of Deep Networks on Manifolds: Simultaneous Approximation [2.815765641180636]
境界重みを持つ定数深度$mathrmReLUk-1$ネットワークは、ソボレフ空間内の任意の関数を近似することができることを示す。
また、必要なパラメータ数が対数係数に一致することを示すことで、我々の構成がほぼ最適であることを示す。
論文 参考訳（メタデータ） (2025-09-11T11:28:20Z) - Finite-Dimensional Gaussian Approximation for Deep Neural Networks: Universality in Random Weights [15.424946932398713]
有限次モーメントを持つ無作為重みを持つディープニューラルネットワークの有限次元分布(FDD)について検討する。
我々は、FDDとガウス極限の間のワッサーシュタイン-1$ノルムにガウス近似境界を確立する。
すべての幅が共通のスケールパラメータ$n$に比例し、隠された層が$L-1$である特別な場合、任意の$epsilon > 0$に対して$n-(1/6)L-1 + epsilon$の収束率を得る。
論文 参考訳（メタデータ） (2025-07-16T23:41:09Z) - Neural Sampling from Boltzmann Densities: Fisher-Rao Curves in the Wasserstein Geometry [1.609940380983903]
正規化されていないボルツマン密度$rho_D$から、$f_t$で与えられるボルツマン曲線を学習することで、サンプリングを行う。
M'at'e と Fleuret に触発されて、f_t$ のみをパラメータ化し、適切な $v_t$ を修正する方法を提案する。
これはランゲヴィン力学に関連するクルバック・リーブラー発散のワッサーシュタインフローに対応する。
論文 参考訳（メタデータ） (2024-10-04T09:54:11Z) - Improved Finite-Particle Convergence Rates for Stein Variational Gradient Descent [14.890609936348277]
我々は、Kernelized Stein Discrepancy (mathsfKSD$) と Wasserstein-2 メトリクスにおいて、スタイン変分勾配Descentアルゴリズムに対して有限粒子収束率を提供する。
我々の重要な洞察は、N$粒子位置の接合密度の間の相対エントロピーの時間微分が、期待される$mathsfKSD2$のN$倍とより小さな正の値に比例して支配的な負の部分に分裂するということである。
論文 参考訳（メタデータ） (2024-09-13T01:49:19Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Projected Langevin dynamics and a gradient flow for entropic optimal
transport [0.8057006406834466]
エントロピー規則化された最適輸送からサンプリングした類似拡散力学を導入する。
部分多様体 $Pi(mu,nu)$ の誘導されたワッサーシュタイン幾何学の研究により、SDE はこの結合空間上のワッサーシュタイン勾配フローとみなすことができると論じる。
論文 参考訳（メタデータ） (2023-09-15T17:55:56Z) - Theory of free fermions under random projective measurements [43.04146484262759]
本研究では,一次元自由フェルミオンを局所的占有数のランダム射影的測定対象とする解析的手法を開発した。
問題の有効場理論として非線形シグマモデル(NLSM)を導出する。
論文 参考訳（メタデータ） (2023-04-06T15:19:33Z) - Over-Parameterization Exponentially Slows Down Gradient Descent for
Learning a Single Neuron [49.45105570960104]
ランダム勾配降下のグローバル収束を$Oleft(T-3right)$ rateで証明する。
これら2つの境界は、収束率の正確な特徴づけを与える。
このポテンシャル関数は緩やかに収束し、損失関数の緩やかな収束率を示す。
論文 参考訳（メタデータ） (2023-02-20T15:33:26Z) - On parametric resonance in the laser action [91.3755431537592]
固体レーザーのための自己整合性半古典型マクスウェル-シュル・オーディンガー系について考察する。
対応する Poincar'e map $P$ を導入し、適切な定常状態 $Y0$ で微分 $DP(Y0)$ を考える。
論文 参考訳（メタデータ） (2022-08-22T09:43:57Z) - Convergence of Langevin Monte Carlo in Chi-Squared and Renyi Divergence [8.873449722727026]
推定値である$widetildemathcalO(depsilon-1)$が,これらの測定値の既知レートを改善することを示す。
特に凸および1次滑らかなポテンシャルについて、LCCアルゴリズムは、これらの測定値の既知率を改善するために$widetildemathcalO(depsilon-1)$を推定する。
論文 参考訳（メタデータ） (2020-07-22T18:18:28Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z) - Anisotropy-mediated reentrant localization [62.997667081978825]
2次元双極子系、$d=2$、一般化双極子-双極子相互作用$sim r-a$、トラップイオン系やリドバーグ原子系で実験的に制御されたパワー$a$を考える。
異方性双極子交換を引き起こす双極子の空間的に均質な傾き$$beta$は、ロケータ展開を超えた非自明な再帰的局在をもたらすことを示す。
論文 参考訳（メタデータ） (2020-01-31T19:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。