論文の概要: Universal Scaling Laws of Absorbing Phase Transitions in Artificial Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2307.02284v3
- Date: Thu, 10 Apr 2025 05:38:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-11 15:12:47.983716
- Title: Universal Scaling Laws of Absorbing Phase Transitions in Artificial Deep Neural Networks
- Title（参考訳）: 人工深部ニューラルネットワークにおける吸収相転移の普遍的スケーリング法則
- Authors: Keiichi Tamai, Tsuyoshi Okubo, Truong Vinh Truong Duy, Naotake Natori, Synge Todo,
- Abstract要約: 信号伝播ダイナミクスの位相境界付近で動作する従来の人工深層ニューラルネットワークは、カオスのエッジとしても知られ、位相遷移を吸収する普遍的なスケーリング法則を示す。
我々は、伝搬力学の完全な決定論的性質を利用して、ニューラルネットワークの信号崩壊と吸収状態の類似を解明する。
- 参考スコア（独自算出の注目度）: 0.8932296777085644
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We demonstrate that conventional artificial deep neural networks operating near the phase boundary of the signal propagation dynamics, also known as the edge of chaos, exhibit universal scaling laws of absorbing phase transitions in non-equilibrium statistical mechanics. We exploit the fully deterministic nature of the propagation dynamics to elucidate an analogy between a signal collapse in the neural networks and an absorbing state (a state that the system can enter but cannot escape from). Our numerical results indicate that the multilayer perceptrons and the convolutional neural networks belong to the mean-field and the directed percolation universality classes, respectively. Also, the finite-size scaling is successfully applied, suggesting a potential connection to the depth-width trade-off in deep learning. Furthermore, our analysis of the training dynamics under the gradient descent reveals that hyperparameter tuning to the phase boundary is necessary but insufficient for achieving optimal generalization in deep networks. Remarkably, nonuniversal metric factors associated with the scaling laws are shown to play a significant role in concretizing the above observations. These findings highlight the usefulness of the notion of criticality for analyzing the behavior of artificial deep neural networks and offer new insights toward a unified understanding of the essential relationship between criticality and intelligence.
- Abstract（参考訳）: 信号伝播力学の位相境界付近で動作する従来の人工深部ニューラルネットワークは、カオスのエッジとしても知られ、非平衡統計力学における位相遷移を吸収する普遍的なスケーリング法則を示す。
我々は、伝搬力学の完全な決定論的性質を利用して、ニューラルネットワーク内の信号崩壊と吸収状態(システムが侵入できるが、脱出できない状態)の間の類似を解明する。
数値計算の結果,多層パーセプトロンと畳み込みニューラルネットワークはそれぞれ平均場と有向パーコレーション普遍性クラスに属していることがわかった。
また、有限サイズスケーリングがうまく適用され、深層学習における深度幅トレードオフへの潜在的なつながりが示唆される。
さらに, 勾配勾配下でのトレーニングダイナミクスの解析により, 位相境界へのハイパーパラメータチューニングは必要だが, 深層ネットワークにおける最適一般化を実現するには不十分であることが判明した。
注目すべきは、スケーリング法則に関連する非ユニバーサル計量因子が、上記の観測を緩和する上で重要な役割を担っていることである。
これらの知見は、人工深層ニューラルネットワークの振る舞いを分析し、臨界性と知性の本質的関係を統一的に理解するための新たな洞察を提供するために、臨界の概念の有用性を強調している。
関連論文リスト
- Explosive neural networks via higher-order interactions in curved statistical manifolds [43.496401697112695]
我々は、高次現象を研究するためのプロトタイプモデルのクラスとして、曲面ニューラルネットワークを紹介した。
これらの曲線ニューラルネットワークは、メモリ検索を高速化する自己制御プロセスを実装している。
論文 参考訳（メタデータ） (2024-08-05T09:10:29Z) - Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。
本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。
本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
論文 参考訳（メタデータ） (2024-04-22T09:40:07Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Approximating nonlinear functions with latent boundaries in low-rank
excitatory-inhibitory spiking networks [5.955727366271805]
スパイクに基づく興奮抑制スパイクネットワークのための新しいフレームワークを考案した。
本研究は,生体スパイクに基づく計算の力学的理解の出発点となるスパイクネットワークの新しい視点を提案する。
論文 参考訳（メタデータ） (2023-07-18T15:17:00Z) - Statistical Physics of Deep Neural Networks: Initialization toward
Optimal Channels [6.144858413112823]
ディープラーニングでは、ニューラルネットワークは入力データとその表現の間のノイズの多いチャネルとして機能する。
ニューラルネットワークが最適なチャネルに内在する可能性について,よく見過ごされる可能性について検討する。
論文 参考訳（メタデータ） (2022-12-04T05:13:01Z) - Meta-Principled Family of Hyperparameter Scaling Strategies [9.89901717499058]
広範かつ深いニューラルネットワークのための動的オブザーバブル(ネットワーク出力、ニューラルタンジェントカーネル、ニューラルタンジェントカーネルの差分)のスケーリングを計算する。
文献で調べた無限幅制限は、相互接続されたウェブの異なる角に対応する。
論文 参考訳（メタデータ） (2022-10-10T18:00:01Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳（メタデータ） (2021-01-12T00:40:45Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Generalization bound of globally optimal non-convex neural network
training: Transportation map estimation by infinite dimensional Langevin
dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。
ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文 参考訳（メタデータ） (2020-07-11T18:19:50Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳（メタデータ） (2020-06-16T18:45:20Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。