論文の概要: Quantitative convergence of trained single layer neural networks to Gaussian processes

• arxiv url: http://arxiv.org/abs/2509.24544v1
• Date: Mon, 29 Sep 2025 09:59:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.909462
• Title: Quantitative convergence of trained single layer neural networks to Gaussian processes
• Title（参考訳）: 訓練された単一層ニューラルネットワークのガウス過程への定量的収束
• Authors: Eloy Mosig, Andrea Agazzi, Dario Trevisan,
• Abstract要約: 本研究では、勾配勾配から関連するガウス過程へ学習した浅層ニューラルネットワークの無限幅限界における定量的収束について検討する。 ネットワーク出力とガウス近似の間の二次ワッサーシュタイン距離を任意のトレーニング時間で明示的な上界を与える。 この結果は,幅や入力次元などのアーキテクチャパラメータや収束の影響,およびトレーニング力学が近似誤差にどのように影響するかを定量化する。
• 参考スコア（独自算出の注目度）: 3.441021278275805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study the quantitative convergence of shallow neural networks trained via gradient descent to their associated Gaussian processes in the infinite-width limit. While previous work has established qualitative convergence under broad settings, precise, finite-width estimates remain limited, particularly during training. We provide explicit upper bounds on the quadratic Wasserstein distance between the network output and its Gaussian approximation at any training time $t \ge 0$, demonstrating polynomial decay with network width. Our results quantify how architectural parameters, such as width and input dimension, influence convergence, and how training dynamics affect the approximation error.
• Abstract（参考訳）: 本稿では,無限幅限界における勾配勾配から関連するガウス過程へ学習した浅層ニューラルネットワークの定量的収束について検討する。 以前の研究は、広い設定の下で定性的収束を確立してきたが、正確な有限幅推定は、特に訓練中は限定的のままである。 ネットワーク出力とガウス近似の間の2次ワッサーシュタイン距離について、任意のトレーニング時間$t \ge 0$で明示的な上限を与え、ネットワーク幅で多項式減衰を示す。 この結果は,幅や入力次元などのアーキテクチャパラメータや収束の影響,およびトレーニング力学が近似誤差にどのように影響するかを定量化する。

関連論文リスト

• Layer-wise Quantization for Quantized Optimistic Dual Averaging [75.4148236967503]
  我々は、訓練の過程で不均一性に適応し、厳密な分散とコード長境界を持つ一般的な層ワイド量子化フレームワークを開発する。 本稿では,適応学習率を持つ量子最適化双対平均化(QODA)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-05-20T13:53:58Z)
• Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
  機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。 いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
  論文  参考訳（メタデータ） (2024-02-21T18:35:27Z)
• Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes [1.0878040851638]
  ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。 また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
  論文  参考訳（メタデータ） (2023-12-18T22:29:40Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Proximal Mean Field Learning in Shallow Neural Networks [0.4972323953932129]
  無限幅の単一の隠蔽層を有する浅層ニューラルネットワークのための独自の学習アルゴリズムを提案する。 解析ツールとしてではなく,計算アルゴリズムとして,平均場学習を実現する。 本アルゴリズムはリスク関数に関連する自由エネルギーの勾配降下を行う。
  論文  参考訳（メタデータ） (2022-10-25T10:06:26Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
  本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。 平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。 提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
  論文  参考訳（メタデータ） (2021-12-10T15:06:11Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。