論文の概要: Absorbing Phase Transitions in Artificial Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2307.02284v1
- Date: Wed, 5 Jul 2023 13:39:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 13:34:49.005400
- Title: Absorbing Phase Transitions in Artificial Deep Neural Networks
- Title(参考訳): 人工深層ニューラルネットワークにおける吸収相転移
- Authors: Keiichi Tamai, Tsuyoshi Okubo, Truong Vinh Truong Duy, Naotake Natori
and Synge Todo
- Abstract要約: 相転移を吸収する際の普遍的臨界現象の観点から、適切に普遍性ニューラルネットワークを理解することができることを示す。
顕著なことに、有限サイズのスケーリングもうまく適用でき、直観的な議論が信号伝搬ダイナミクスの半定量的記述に繋がることを示唆している。
- 参考スコア(独自算出の注目度): 0.5833117322405447
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Theoretical understanding of the behavior of infinitely-wide neural networks
has been rapidly developed for various architectures due to the celebrated
mean-field theory. However, there is a lack of a clear, intuitive framework for
extending our understanding to finite networks that are of more practical and
realistic importance. In the present contribution, we demonstrate that the
behavior of properly initialized neural networks can be understood in terms of
universal critical phenomena in absorbing phase transitions. More specifically,
we study the order-to-chaos transition in the fully-connected feedforward
neural networks and the convolutional ones to show that (i) there is a
well-defined transition from the ordered state to the chaotics state even for
the finite networks, and (ii) difference in architecture is reflected in that
of the universality class of the transition. Remarkably, the finite-size
scaling can also be successfully applied, indicating that intuitive
phenomenological argument could lead us to semi-quantitative description of the
signal propagation dynamics.
- Abstract(参考訳): 無限大のニューラルネットワークの挙動に関する理論的理解は、有名な平均場理論によって様々なアーキテクチャで急速に発展してきた。
しかしながら、より実用的で現実的な重要性を持つ有限ネットワークへの理解を拡張するための、明確で直感的なフレームワークが欠如している。
本研究では, 位相遷移を吸収する普遍的臨界現象を用いて, 適切な初期化ニューラルネットワークの挙動を解明できることを実証する。
より具体的には、完全接続されたフィードフォワードニューラルネットワークと畳み込みニューラルネットワークにおける順序からカオスへの遷移を調べ、それを示す。
(i)有限ネットワークであっても順序状態からカオス状態への明確に定義された遷移が存在し、
(ii) アーキテクチャの違いは、遷移の普遍性クラスに反映される。
注目すべきことに、有限サイズのスケーリングもうまく適用でき、直観的な現象論的議論が信号伝播ダイナミクスの半定量的記述に繋がることを示唆している。
関連論文リスト
- The semantic landscape paradigm for neural networks [0.0]
本稿では,ニューラルネットワークのトレーニング力学を記述する概念的および数学的枠組みであるセマンティックランドスケープパラダイムを紹介する。
具体的には,グルーキングとスケールの出現はパーコレーション現象と関連し,ニューラルネットワークのスケーリング法則はグラフ上のランダムウォークの統計から説明できることを示す。
論文 参考訳(メタデータ) (2023-07-18T18:48:54Z) - Phase Diagram of Initial Condensation for Two-layer Neural Networks [4.404198015660192]
2層ニューラルネットワークの初期凝縮の位相図を示す。
私たちのフェーズダイアグラムは、ニューラルネットワークの動的構造を包括的に理解するのに役立ちます。
論文 参考訳(メタデータ) (2023-03-12T03:55:38Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳(メタデータ) (2022-06-13T12:03:32Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳(メタデータ) (2021-06-12T13:05:11Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Generalization bound of globally optimal non-convex neural network
training: Transportation map estimation by infinite dimensional Langevin
dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。
ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文 参考訳(メタデータ) (2020-07-11T18:19:50Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳(メタデータ) (2020-06-30T14:46:08Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳(メタデータ) (2020-06-16T18:45:20Z) - Investigating the Compositional Structure Of Deep Neural Networks [1.8899300124593645]
本稿では,一方向線形活性化関数の構成構造に基づく新しい理論的枠組みを提案する。
予測ラベルと予測に使用する特定の(線形)変換の両方に関して、入力データのインスタンスを特徴付けることができる。
MNISTデータセットの予備テストでは、ニューラルネットワークの内部表現における類似性に関して、入力インスタンスをグループ化することが可能である。
論文 参考訳(メタデータ) (2020-02-17T14:16:17Z) - Emergence of Network Motifs in Deep Neural Networks [0.35911228556176483]
ニューラルネットワークの研究にネットワークサイエンスツールをうまく応用できることが示される。
特に,マルチ層パーセプトロンにおけるネットワークモチーフの出現について検討する。
論文 参考訳(メタデータ) (2019-12-27T17:05:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。