論文の概要: Finite-width shift of the edge of chaos in deep neural networks

• arxiv url: http://arxiv.org/abs/2611.06582v1
• Date: Wed, 04 Nov 2026 14:39:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.138015
• Title: Finite-width shift of the edge of chaos in deep neural networks
• Title（参考訳）: 深部ニューラルネットワークにおけるカオスエッジの有限幅シフト
• Abstract要約: ディープニューラルネットワークは、カオスの端で初期化されると、最高のトレーニングを行う。 ラインは無限に広いネットワークで知られており、有限の幅で移動し、どのように動くかは議論されている。 我々は、ネットワークを検索なしでその有限幅のカオスの端に配置する初期化規則、Crinitを与える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks train best when they are initialised at the edge of chaos, the critical line in the plane of weight and bias variances on which the distance between two inputs neither grows nor shrinks with depth. The line is known for infinitely wide networks; at finite width it moves, and how it moves has been disputed. We treat the logarithm of the distance between two inputs through a network of width $N$ as a random walk and compute its drift and variance to order $1/N$. The edge of chaos moves to a larger weight variance, by $Δσ_w^2=-a_1/(N\,\partial_{σ_w^2}\lnχ_1)$, about $8/N$ for $\tanh$ networks at a bias variance of $0.05$, confirmed by simulations of the exact finite-width recursion. The shift describes a typical network; the average over many networks is dominated by rare networks in which the distance grows, and its critical point moves the other way, which explains why calculations and simulations have disagreed. Backpropagation follows the same random walk, so the shift applies to gradients unchanged. Along the edge of chaos, the information about the similarity of two inputs is constant until the compression over the depth exceeds about one nat, which fixes where to sit on the line. The results give an initialisation rule, Crinit, that places a network on its finite-width edge of chaos without a search. On MNIST and Fashion-MNIST at width $64$ it is more accurate than the standard rules at their usual settings, by a small margin in shallow networks and a large one in deep networks, where most standard rules fail; it trains in fewer steps, and it matches or beats the standard rules with a tuned gain.
• Abstract（参考訳）: ディープニューラルネットワークは、カオスの端で初期化され、重みの面における臨界線と2つの入力間の距離が成長も縮小もしないバイアスのばらつきを最もよく訓練する。 この線は無限に広いネットワークで知られており、有限の幅で移動し、どのように動くかは議論されている。 2つの入力間の距離の対数を幅$N$のネットワークを通じてランダムウォークとして扱い、そのドリフトと分散を計算して1/N$をオーダーする。 カオスの端は、$Δσ_w^2=-a_1/(N\,\partial_{σ_w^2}\ln*_1)$, 約8/N$ for $\tanh$ networks at a bias variance of $0.05$, confirmed by Simulations of the exact finite-width recursion。 このシフトは典型的なネットワークを表しており、多くのネットワークの平均は距離が増大する稀なネットワークに支配されており、その臨界点は反対方向に移動している。 バックプロパゲーションは同じランダムウォークに従っているため、勾配へのシフトは変化しない。 カオスの端に沿って、2つの入力の類似性に関する情報は、深さの圧縮が1ナットを超えるまで一定である。 結果は、ネットワークを検索なしでその有限幅のカオスの端に配置する初期化規則、Crinitを与える。 MNIST と Fashion-MNIST の幅は 64$ で、通常のルールよりも正確で、浅いネットワークでは小さなマージンで、ほとんどの標準ルールが失敗するディープネットワークでは大きい。

関連論文リスト

• A Theory of Saddle Escape in Deep Nonlinear Networks [0.0]
  層重行列のフロベニウスノルムの不均衡について、スムーズな活性化と微分可能な損失を保った正確な恒等式を導出する。 置換対称部分多様体では、恒等式は近似バランス則と結合し、スカラーODEへの全行列フローを減少させる。 我々の理論と数値シミュレーションの間にはよく一致している。
  論文  参考訳（メタデータ） (2026-05-02T06:55:15Z)
• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Sample Complexity of Neural Policy Mirror Descent for Policy Optimization on Low-Dimensional Manifolds [75.51968172401394]
  深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。 NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。 NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
  論文  参考訳（メタデータ） (2023-09-25T07:31:22Z)
• Quantitative CLTs in Deep Neural Networks [12.845031126178593]
  ランダムなガウス重みとバイアスを持つ完全連結ニューラルネットワークの分布について検討する。 我々は、大まかではあるが有限の$n$および任意の固定されたネットワーク深さで有効な正規近似の量的境界を得る。 我々の境界は、それまでの文献で利用できたものよりも、ネットワーク幅に依存しているという点で厳格に強い。
  論文  参考訳（メタデータ） (2023-07-12T11:35:37Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• A note on Linear Bottleneck networks and their Transition to Multilinearity [18.233589417885906]
  一般に、B-1$のボトルネック層の場合、ネットワークは重みの多線形関数の次数$B$である。 重要なのは、その度合いはボトルネックの数にのみ依存し、ネットワーク全体の深さには依存しない。
  論文  参考訳（メタデータ） (2022-06-30T06:40:32Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• The Rate of Convergence of Variation-Constrained Deep Neural Networks [35.393855471751756]
  変動制約のあるニューラルネットワークのクラスは、任意に小さな定数$delta$に対して、ほぼパラメトリックレート$n-1/2+delta$を達成することができることを示す。 その結果、滑らかな関数の近似に必要な神経機能空間は、しばしば知覚されるものほど大きくない可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-22T21:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。