論文の概要: Infinite ResNets are Gaussian Mean ODEs

• arxiv url: http://arxiv.org/abs/2610.41514v1
• Date: Fri, 30 Oct 2026 10:06:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.678333
• Title: Infinite ResNets are Gaussian Mean ODEs
• Title（参考訳）: Infinite ResNetsはガウス平均ODEである
• Abstract要約: 標準形状スケーリングにおけるResNetの大規模リミットトレーニングダイナミクスについて述べる。 ResNetの形状に依存する近似スケーリング法則を得る。
• 参考スコア（独自算出の注目度）: 11.482815450838887
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the training dynamics of deep neural networks in large-scale limits is a question both of foundational and of practical importance. Prior works have obtained such descriptions through dynamical mean field theory (DMFT), yielding a system of non-Markovian dynamics that are challenging to analyze and that obscure the optimization structure of the original dynamics. In this paper, we obtain instead a simple description of the large-scale limit training dynamics for ResNets in standard shape scalings and in the $1/\text{depth}$ branch scaling that allows maximal (local) feature updates. For a model trained with gradient descent (GD) from a random initialization, the limit dynamics is simply GD on a Neural Mean ODE with Gaussian initial weights. Our analysis covers population or empirical risk GD in the joint limit of large width, depth and embedding, input, and output dimensions. We obtain approximation scaling laws that depend on the shape of the ResNet and the covariance spectrum of the data. We also illustrate the flexibility of our approach by discussing Mixture of Expert models, where likewise the limit admits an intuitive (nested) Mean ODE description.
• Abstract（参考訳）: 大規模な制限下でのディープニューラルネットワークのトレーニングダイナミクスの理解は、基礎的かつ実践的な重要性の両方の問題である。 それまでの研究は、力学平均場理論 (DMFT) を通じてそのような記述を得ており、非マルコフ力学の系は分析が困難であり、元の力学の最適化構造を曖昧にしている。 本稿では、標準形状スケーリングにおけるResNetsの大規模制限トレーニングダイナミクスの簡単な記述と、最大(局所)特徴更新を可能にする1/\text{depth}$ブランチスケーリングについて述べる。 ランダム初期化から勾配降下(GD)を訓練したモデルの場合、極限力学はガウス初期重みを持つニューラル平均ODE上のGDである。 我々の分析では,広い幅,深さ,埋め込み,入力,出力次元の結合限界において,集団や経験的リスクGDをカバーしている。 我々はResNetの形状とデータの共分散スペクトルに依存する近似スケーリング法則を得る。 また、エキスパートモデルの混合を議論することで、アプローチの柔軟性についても説明します。

関連論文リスト

• Statistical physics analysis of graph neural networks: Approaching optimality in the contextual stochastic block model [0.0]
  グラフニューラルネットワーク(GNN)は、グラフに関連するデータを処理するように設計されている。 GNNは、繰り返し集約ステップによって遠く離れたノードから情報を集めるのに苦労する可能性がある。 我々は,GCNのアーキテクチャが過度なスムーシングを避けるために,深さとともにスケールしなければならないことを示す。
  論文  参考訳（メタデータ） (2025-03-03T09:55:10Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• From high-dimensional & mean-field dynamics to dimensionless ODEs: A unifying approach to SGD in two-layers networks [26.65398696336828]
  本書はガウスデータとラベルに基づいて訓練された2層ニューラルネットワークの1パス勾配降下(SGD)ダイナミクスについて検討する。 我々は、人口リスクに関する十分な統計量の観点から、決定論的かつ低次元の記述を通じて、制限力学を厳格に分析する。
  論文  参考訳（メタデータ） (2023-02-12T09:50:52Z)
• High-dimensional limit theorems for SGD: Effective dynamics and critical scaling [6.950316788263433]
  我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。 下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。 この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
  論文  参考訳（メタデータ） (2022-06-08T17:42:18Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Training Integrable Parameterizations of Deep Neural Networks in the Infinite-Width Limit [0.0]
  大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。 2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。 この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
  論文  参考訳（メタデータ） (2021-10-29T07:53:35Z)
• Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs [77.33781731432163]
  我々は,ノード表現の推論を目的とした双曲空間における動的グラフ表現を初めて学習する。 本稿では,HVGNNと呼ばれる新しいハイパーボリック変動グラフネットワークを提案する。 特に,動力学をモデル化するために,理論的に接地した時間符号化手法に基づく時間gnn(tgnn)を導入する。
  論文  参考訳（メタデータ） (2021-04-06T01:44:15Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。