Fugu-MT 論文翻訳(概要): Uniform-in-time concentration in two-layer neural networks via transportation inequalities

論文の概要: Uniform-in-time concentration in two-layer neural networks via transportation inequalities

arxiv url: http://arxiv.org/abs/2603.01842v1
Date: Mon, 02 Mar 2026 13:19:59 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-03 19:50:56.88705
Title: Uniform-in-time concentration in two-layer neural networks via transportation inequalities
Title（参考訳）: 輸送不等式による二層ニューラルネットワークにおける一様時間濃度
Authors: Arnaud Guillin, Boris Nectoux, Paul Stos,
Abstract要約: ワッサーシュタイン距離W1における平均場限界周辺における実験パラメータ測定の時間内均一濃度を証明した。また、スライスされたワッサーシュタイン距離 SW 1 における類似濃度境界も導出する。
参考スコア（独自算出の注目度）: 1.873444918172383
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We quantify, uniformly over time and with high probability, the discrepancy between the predictions of a two-layer neural network trained by stochastic gradient descent (SGD) and their mean-field limit, for quadratic loss and ridge regularization. As a key ingredient, we establish T p transportation inequalities (p $\in$ {1, 2}) for the law of the SGD parameters, with explicit constants independent of the iteration index. We then prove uniform-in-time concentration of the empirical parameter measure around its mean-field limit in the Wasserstein distance W 1 , and we translate these bounds into prediction-error estimates against a fixed test function $Φ$. We also derive analogous concentration bounds in the sliced-Wasserstein distance SW 1 , leading to dimension-free rates.
Abstract（参考訳）: 確率勾配勾配勾配(SGD)により訓練された2層ニューラルネットワークの予測値と,その平均場限界との差を,時間とともに一様かつ高い確率で定量化し,二次的損失と隆起正則化について検討した。重要な要素として、SGDパラメータの法則に対して T p 輸送の不等式 (p $\in$ {1, 2}) を確立する。次に、ワッサーシュタイン距離W1における平均場限界の周りの経験的パラメータ測度の時間内一様濃度を証明し、固定テスト関数に対してこれらの境界を予測誤差推定に変換する。また、スライスされたワッサーシュタイン距離 SW 1 における類似濃度境界を導出し、次元自由率を導出する。

関連論文リスト

Finite-Sample Wasserstein Error Bounds and Concentration Inequalities for Nonlinear Stochastic Approximation [6.800624963330628]
ワッサーシュタイン-$p$距離における非線形近似アルゴリズムの非漸近誤差境界を導出する。正規化された最後の繰り返しは、$p$-ワッサーシュタイン距離のガウス分布に階数$_n1/6$で収束することを示し、$_n$はステップサイズである。これらの分布保証は、モーメント境界やマルコフの不等式から得られるものより改善される高確率濃度の不等式を暗示する。
論文参考訳（メタデータ） (2026-02-02T18:41:06Z)
Generative Modeling with Continuous Flows: Sample Complexity of Flow Matching [60.37045080890305]
本稿では,フローマッチングに基づく生成モデルにおいて,サンプルの複雑さを初めて解析する。速度場推定誤差をニューラルネットワーク近似誤差、有限標本サイズによる統計的誤差、速度場推定のための有限個の最適化ステップによる最適化誤差に分解する。
論文参考訳（メタデータ） (2025-12-01T05:14:25Z)
Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
論文参考訳（メタデータ） (2025-10-22T19:06:39Z)
Statistical guarantees for continuous-time policy evaluation: blessing of ellipticity and new tradeoffs [2.926192989090622]
連続時間マルコフ拡散過程における値関数の推定について検討する。我々の研究は、最小二乗時間差法に対して漸近的でない統計的保証を提供する。
論文参考訳（メタデータ） (2025-02-06T18:39:03Z)
Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文参考訳（メタデータ） (2024-04-29T15:04:07Z)
A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文参考訳（メタデータ） (2024-04-18T16:46:08Z)
Dynamics of correlation spreading in low-dimensional transverse-field Ising models [0.0]
1(1D)と2次元(2D)における横場イジングモデルにおける磁気乱れ状態から始まる量子クエンチ後の相関の動的拡散について検討する。いくつかの手法を用いて縦・横スピン相関関数を等時解析する。本研究は, 将来のリブ・ロビンソン境界の相関拡散と理論的洗練に関する量子シミュレーション実験に有用なベンチマークを提供する。
論文参考訳（メタデータ） (2023-01-04T02:02:21Z)
Controlling Moments with Kernel Stein Discrepancies [74.82363458321939]
Kernel Steindisrepancies (KSD) は分布近似の品質を測定する。まず、弱収束制御に使用される標準KSDがモーメント収束制御に失敗することを示す。次に、代替拡散KSDがモーメントと弱収束の両方を制御できる十分な条件を提供する。
論文参考訳（メタデータ） (2022-11-10T08:24:52Z)
Unbalanced Sobolev Descent [31.777218621726284]
非平衡ソボレフ蛍光(USD)は、高次元の音源分布を、必ずしも同じ質量を持つとは限らないターゲット分布へ輸送する粒子降下アルゴリズムである。 USDは、ソボレフ・フィッシャー差動の証人関数の流れに沿って粒子を輸送し(対流ステップ)、この証人関数に関して粒子の質量を再考する(反応ステップ)。本稿では,USD が従来の粒子降下アルゴリズムよりも高速に質量を保存・保存して分布を輸送する合成例を示す。
論文参考訳（メタデータ） (2020-09-29T16:43:38Z)
A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
論文参考訳（メタデータ） (2020-08-21T18:00:50Z)
Quantitative Propagation of Chaos for SGD in Wide Neural Networks [39.35545193410871]
本稿では,SGD(Gradient Descent)の連続時間動作の制限挙動について検討する。本研究では, この連続時間力学によって定義される粒子系に対して, 異なるシナリオ下での「カオスの伝播」を示す。最小化問題の暗黙的な正則化版に対応する2つの平均場限界を求める。
論文参考訳（メタデータ） (2020-07-13T12:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。