論文の概要: Universal Scaling Laws of Absorbing Phase Transitions in Artificial Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2307.02284v2
• Date: Tue, 29 Oct 2024 14:57:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:37:40.909899
• Title: Universal Scaling Laws of Absorbing Phase Transitions in Artificial Deep Neural Networks
• Title（参考訳）: 人工深部ニューラルネットワークにおける吸収相転移の普遍的スケーリング法則
• Authors: Keiichi Tamai, Tsuyoshi Okubo, Truong Vinh Truong Duy, Naotake Natori, Synge Todo,
• Abstract要約: 信号伝播ダイナミクスの位相境界付近で動作する従来の人工深層ニューラルネットワークは、カオスのエッジとしても知られ、位相遷移を吸収する普遍的なスケーリング法則を示す。 数値計算の結果,多層パーセプトロンと畳み込みニューラルネットワークはそれぞれ平均フィールドと有向パーコレーションクラスに属していることがわかった。
• 参考スコア（独自算出の注目度）: 0.8932296777085644
• License:
• Abstract: We demonstrate that conventional artificial deep neural networks operating near the phase boundary of the signal propagation dynamics, also known as the edge of chaos, exhibit universal scaling laws of absorbing phase transitions in non-equilibrium statistical mechanics. Our numerical results indicate that the multilayer perceptrons and the convolutional neural networks belong to the mean-field and the directed percolation universality classes, respectively. Also, the finite-size scaling is successfully applied, suggesting a potential connection to the depth-width trade-off in deep learning. Furthermore, our analysis of the training dynamics under gradient descent reveals that hyperparameter tuning to the phase boundary is necessary but insufficient for achieving optimal generalization in deep networks. Remarkably, nonuniversal metric factors associated with the scaling laws are shown to play a significant role in concretizing the above observations. These findings highlight the usefulness of the notion of criticality for analyzing the behavior of artificial deep neural networks and offer new insights toward a unified understanding of an essential relationship between criticality and intelligence.
• Abstract（参考訳）: 信号伝播力学の位相境界付近で動作する従来の人工深部ニューラルネットワークは、カオスのエッジとしても知られ、非平衡統計力学における位相遷移を吸収する普遍的なスケーリング法則を示す。 数値計算の結果,多層パーセプトロンと畳み込みニューラルネットワークはそれぞれ平均場と有向パーコレーション普遍性クラスに属していることがわかった。 また、有限サイズスケーリングがうまく適用され、深層学習における深度幅トレードオフへの潜在的なつながりが示唆される。 さらに, 勾配勾配下でのトレーニングダイナミクスの解析により, 位相境界へのハイパーパラメータチューニングは必要だが, 深層ネットワークにおける最適一般化を実現するには不十分であることが判明した。 注目すべきは、スケーリング法則に関連する非ユニバーサル計量因子が、上記の観測の促進に重要な役割を果たしていることである。 これらの知見は、人工知能の深層ニューラルネットワークの振る舞いを分析し、臨界性と知性の本質的関係を統一的に理解するための新たな洞察を提供するために、臨界の概念の有用性を強調している。

関連論文リスト

• Explosive neural networks via higher-order interactions in curved statistical manifolds [43.496401697112695]
  我々は、高次現象を研究するためのプロトタイプモデルのクラスとして、曲面ニューラルネットワークを紹介した。 これらの曲線ニューラルネットワークは、メモリ検索を高速化する自己制御プロセスを実装している。
  論文  参考訳（メタデータ） (2024-08-05T09:10:29Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Statistical Physics of Deep Neural Networks: Initialization toward Optimal Channels [6.144858413112823]
  ディープラーニングでは、ニューラルネットワークは入力データとその表現の間のノイズの多いチャネルとして機能する。 ニューラルネットワークが最適なチャネルに内在する可能性について,よく見過ごされる可能性について検討する。
  論文  参考訳（メタデータ） (2022-12-04T05:13:01Z)
• Meta-Principled Family of Hyperparameter Scaling Strategies [9.89901717499058]
  広範かつ深いニューラルネットワークのための動的オブザーバブル(ネットワーク出力、ニューラルタンジェントカーネル、ニューラルタンジェントカーネルの差分)のスケーリングを計算する。 文献で調べた無限幅制限は、相互接続されたウェブの異なる角に対応する。
  論文  参考訳（メタデータ） (2022-10-10T18:00:01Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。