論文の概要: Absorbing Phase Transitions in Artificial Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2307.02284v1
• Date: Wed, 5 Jul 2023 13:39:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 13:34:49.005400
• Title: Absorbing Phase Transitions in Artificial Deep Neural Networks
• Title（参考訳）: 人工深層ニューラルネットワークにおける吸収相転移
• Authors: Keiichi Tamai, Tsuyoshi Okubo, Truong Vinh Truong Duy, Naotake Natori and Synge Todo
• Abstract要約: 相転移を吸収する際の普遍的臨界現象の観点から、適切に普遍性ニューラルネットワークを理解することができることを示す。 顕著なことに、有限サイズのスケーリングもうまく適用でき、直観的な議論が信号伝搬ダイナミクスの半定量的記述に繋がることを示唆している。
• 参考スコア（独自算出の注目度）: 0.5833117322405447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Theoretical understanding of the behavior of infinitely-wide neural networks has been rapidly developed for various architectures due to the celebrated mean-field theory. However, there is a lack of a clear, intuitive framework for extending our understanding to finite networks that are of more practical and realistic importance. In the present contribution, we demonstrate that the behavior of properly initialized neural networks can be understood in terms of universal critical phenomena in absorbing phase transitions. More specifically, we study the order-to-chaos transition in the fully-connected feedforward neural networks and the convolutional ones to show that (i) there is a well-defined transition from the ordered state to the chaotics state even for the finite networks, and (ii) difference in architecture is reflected in that of the universality class of the transition. Remarkably, the finite-size scaling can also be successfully applied, indicating that intuitive phenomenological argument could lead us to semi-quantitative description of the signal propagation dynamics.
• Abstract（参考訳）: 無限大のニューラルネットワークの挙動に関する理論的理解は、有名な平均場理論によって様々なアーキテクチャで急速に発展してきた。 しかしながら、より実用的で現実的な重要性を持つ有限ネットワークへの理解を拡張するための、明確で直感的なフレームワークが欠如している。 本研究では, 位相遷移を吸収する普遍的臨界現象を用いて, 適切な初期化ニューラルネットワークの挙動を解明できることを実証する。 より具体的には、完全接続されたフィードフォワードニューラルネットワークと畳み込みニューラルネットワークにおける順序からカオスへの遷移を調べ、それを示す。 (i)有限ネットワークであっても順序状態からカオス状態への明確に定義された遷移が存在し、 (ii) アーキテクチャの違いは、遷移の普遍性クラスに反映される。 注目すべきことに、有限サイズのスケーリングもうまく適用でき、直観的な現象論的議論が信号伝播ダイナミクスの半定量的記述に繋がることを示唆している。

関連論文リスト

• Explosive neural networks via higher-order interactions in curved statistical manifolds [43.496401697112695]
  我々は、高次現象を研究するためのプロトタイプモデルのクラスとして、曲面ニューラルネットワークを紹介した。 これらの曲線ニューラルネットワークは、メモリ検索を高速化する自己制御プロセスを実装している。
  論文  参考訳（メタデータ） (2024-08-05T09:10:29Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Statistical Physics of Deep Neural Networks: Initialization toward Optimal Channels [6.144858413112823]
  ディープラーニングでは、ニューラルネットワークは入力データとその表現の間のノイズの多いチャネルとして機能する。 ニューラルネットワークが最適なチャネルに内在する可能性について,よく見過ごされる可能性について検討する。
  論文  参考訳（メタデータ） (2022-12-04T05:13:01Z)
• Meta-Principled Family of Hyperparameter Scaling Strategies [9.89901717499058]
  広範かつ深いニューラルネットワークのための動的オブザーバブル(ネットワーク出力、ニューラルタンジェントカーネル、ニューラルタンジェントカーネルの差分)のスケーリングを計算する。 文献で調べた無限幅制限は、相互接続されたウェブの異なる角に対応する。
  論文  参考訳（メタデータ） (2022-10-10T18:00:01Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。