論文の概要: Critical initialization destabilizes higher input derivatives in wide scalar-input networks

• arxiv url: http://arxiv.org/abs/2609.09244v1
• Date: Tue, 08 Sep 2026 10:17:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.744208
• Title: Critical initialization destabilizes higher input derivatives in wide scalar-input networks
• Title（参考訳）: 臨界初期化は広いスカラー・インプット・ネットワークにおける高次インプット微分を不安定化する
• Abstract要約: 任意の固定有限微分位数は、明示的な正則性仮定の下で一様有界な分散を持つことを証明する。 分岐スケール L-1/2 の残留ネットワークに対して、すべての固定有限微分位数は一様有界な分散を持つことを証明する。
• 参考スコア（独自算出の注目度）: 3.0318216701273397
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The edge-of-chaos condition preserves first-order input perturbations in wide randomly initialized networks, but physics-informed losses, score matching and derivative regularization depend on higher input derivatives. For smooth scalar-input fully connected networks, using a joint Gaussianity of the finite derivative jet that holds in the infinite-width limit at each fixed depth, we derive mean-field recursions through third order that are exact at the variance fixed point, with finite-depth corrections that decay geometrically. At criticality, the first-derivative variance is depth-invariant, whereas the second-derivative variance grows linearly whenever the activation has nonzero curvature. The resulting third-order system closes on mean-field susceptibilities. For residual networks with branch scale L^{-1/2}, we prove that every fixed finite derivative order has uniformly bounded variance under explicit regularity assumptions. Simulations verify the critical growth laws, the residual bound, and the closed recursion. The results concern initialization, not trained-network performance.
• Abstract（参考訳）: エッジ・オブ・カオス条件は、広いランダムに初期化されたネットワークにおける1次入力摂動を保存するが、物理学的インフォームド損失、スコアマッチング、微分正則化はより高い入力微分に依存する。 滑らかなスカラー・インプット完全連結ネットワークに対して、固定深度毎の無限幅極限に保持する有限微分ジェットの合同ガウス性を用いて、分散固定点において正確な3次平均場再帰を導出し、幾何学的に減衰する有限深度補正を行う。 臨界においては、第一派生分散は深さ不変であり、第二派生分散は、活性化が非ゼロ曲率を持つと線形に増加する。 結果の3階システムは平均場感受性に基づいて閉じる。 分岐スケール L^{-1/2} を持つ残留ネットワークに対して、任意の固定有限微分位数は、明示的な正則性仮定の下で一様有界な分散を持つことを証明する。 シミュレーションは、臨界成長則、残留境界、および閉再帰を検証する。 その結果は初期化であり、トレーニングされたネットワーク性能ではない。

関連論文リスト

• Branch Geometry and Finite-Radius Sensitivity of Hard-ReLU Training [2.969260589680338]
  外部学習アルゴリズムは無限小感性を用いて訓練パラメータの有限変化を提案する。 ハードルールトレーニングでは、有限プログラムの微分とそのフロー極限の微分は、選択された半径での応答をそれ自体で指定しない。 我々は、半径がGDステップのイベントラウンドに比例し、先行順に生存する相互作用機構を特徴付ける。
  論文  参考訳（メタデータ） (2026-08-31T15:26:59Z)
• Optimal Non-Asymptotic Edgeworth Expansions for Multivariate Neural Network Outputs [0.0]
  有限個の入力で評価されたニューラルネットワークの偏差を近似した。 応用として、前者がエッジワース展開に置き換えられたときのベイズ後部分布の誤差を定量化する。
  論文  参考訳（メタデータ） (2026-05-22T12:45:17Z)
• Variational Bayesian Flow Network for Graph Generation [54.94088904387278]
  グラフ生成のための変分ベイズフローネットワーク(VBFN)を提案する。 VBFNは、構造化精度で支配されるトラクタブルジョイントガウス変分信念ファミリーに対して変分リフトを行う。 合成グラフと分子グラフのデータセットでは、VBFNは忠実度と多様性を改善し、ベースライン法を超えている。
  論文  参考訳（メタデータ） (2026-01-30T03:59:38Z)
• A Local Polyak-Lojasiewicz and Descent Lemma of Gradient Descent For Overparametrized Linear Models [6.734175048463699]
  正方形損失を学習した2層線形ニューラルネットワークの勾配降下に対する線形収束率を導出した。 我々の収束分析は、事前の結果を改善するだけでなく、ステップサイズに対するより良い選択を示唆している。
  論文  参考訳（メタデータ） (2025-05-16T19:57:22Z)
• Implicit Bias of Gradient Descent for Non-Homogeneous Deep Networks [39.38604477897272]
  指数損失下での非均一深層ネットワークに対する勾配降下(GD)の暗黙バイアスを確立する。 本研究は, 温和な近接均一性条件を満たす多種多様な非均一性ネットワークに適用した。
  論文  参考訳（メタデータ） (2025-02-22T04:40:45Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
  平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。 平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
  論文  参考訳（メタデータ） (2020-08-21T18:00:50Z)
• Implicit Bias of Gradient Descent for Mean Squared Error Regression with Two-Layer Wide Neural Networks [1.3706331473063877]
  幅$n$浅いReLUネットワークをトレーニングする解は、トレーニングデータに適合する関数の$n-1/2$以内であることを示す。 また, トレーニング軌道はスムーズなスプラインの軌道によって捕捉され, 正規化強度は低下することを示した。
  論文  参考訳（メタデータ） (2020-06-12T17:46:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。