論文の概要: Collective variables of neural networks: empirical time evolution and scaling laws
- arxiv url: http://arxiv.org/abs/2410.07451v1
- Date: Wed, 9 Oct 2024 21:37:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 17:06:37.643594
- Title: Collective variables of neural networks: empirical time evolution and scaling laws
- Title（参考訳）: ニューラルネットワークの集合変数:経験的時間進化とスケーリング法則
- Authors: Samuel Tovey, Sven Krippendorf, Michael Spannowsky, Konstantin Nikolaou, Christian Holm,
- Abstract要約: 実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレースのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現についての洞察が得られることを示す。
結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
- 参考スコア（独自算出の注目度）: 0.535514140374842
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work presents a novel means for understanding learning dynamics and scaling relations in neural networks. We show that certain measures on the spectrum of the empirical neural tangent kernel, specifically entropy and trace, yield insight into the representations learned by a neural network and how these can be improved through architecture scaling. These results are demonstrated first on test cases before being shown on more complex networks, including transformers, auto-encoders, graph neural networks, and reinforcement learning studies. In testing on a wide range of architectures, we highlight the universal nature of training dynamics and further discuss how it can be used to understand the mechanisms behind learning in neural networks. We identify two such dominant mechanisms present throughout machine learning training. The first, information compression, is seen through a reduction in the entropy of the NTK spectrum during training, and occurs predominantly in small neural networks. The second, coined structure formation, is seen through an increasing entropy and thus, the creation of structure in the neural network representations beyond the prior established by the network at initialization. Due to the ubiquity of the latter in deep neural network architectures and its flexibility in the creation of feature-rich representations, we argue that this form of evolution of the network's entropy be considered the onset of a deep learning regime.
- Abstract（参考訳）: この研究は、ニューラルネットワークにおける学習力学とスケーリング関係を理解するための新しい方法を示す。
実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレーサのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現の洞察と、アーキテクチャのスケーリングを通じてそれらがどのように改善されるかが示される。
これらの結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
幅広いアーキテクチャのテストにおいて、トレーニングダイナミクスの普遍的な性質を強調し、ニューラルネットワークにおける学習の背景にあるメカニズムを理解するためにどのように使用できるのかをさらに議論する。
我々は、機械学習トレーニングを通して存在する2つの支配的なメカニズムを同定する。
1つ目は情報圧縮であり、トレーニング中にNTKスペクトルのエントロピーを減少させ、主に小さなニューラルネットワークで発生する。
2つ目の構造形成はエントロピーの増大によって見られ、したがって初期化時にネットワークが確立した以前のものを超えて、ニューラルネットワークの表現における構造の生成である。
ディープニューラルネットワークアーキテクチャにおける後者の普遍性と、特徴量の多い表現の作成における柔軟性のため、ネットワークのエントロピーのこの形式の進化は、深層学習体制の開始と見なすことができる。
関連論文リスト
- Formation of Representations in Neural Networks [8.79431718760617]
現代のニューラルネットワークにおいて、いかに複雑で構造化され、伝達可能な表現が出現するかは謎のままである。
本稿では、表現の形成を普遍的に支配する6つのアライメント関係の集合を仮定したCRH(Canonical Representation hypothesis)を提案する。
CRHの崩壊はR,W,Gの相互関係の出現につながり,この関係をPAH(Polynomial Alignment hypothesis)と呼ぶ。
論文 参考訳（メタデータ） (2024-10-03T21:31:01Z) - Dynamic neurons: A statistical physics approach for analyzing deep neural networks [1.9662978733004601]
我々は、ニューロンを相互作用の自由度として扱い、ディープニューラルネットワークの構造を単純化する。
翻訳対称性と再正規化群変換を利用することで、臨界現象を解析できる。
このアプローチは、統計物理学を用いてディープニューラルネットワークを研究するための新しい道を開くかもしれない。
論文 参考訳（メタデータ） (2024-10-01T04:39:04Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - The semantic landscape paradigm for neural networks [0.0]
本稿では,ニューラルネットワークのトレーニング力学を記述する概念的および数学的枠組みであるセマンティックランドスケープパラダイムを紹介する。
具体的には,グルーキングとスケールの出現はパーコレーション現象と関連し,ニューラルネットワークのスケーリング法則はグラフ上のランダムウォークの統計から説明できることを示す。
論文 参考訳（メタデータ） (2023-07-18T18:48:54Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳（メタデータ） (2021-06-12T13:05:11Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Explainable artificial intelligence for mechanics: physics-informing
neural networks for constitutive models [0.0]
メカニクスにおいて、物理インフォームドニューラルネットワークの新しい活発な分野は、機械的知識に基づいてディープニューラルネットワークを設計することによって、この欠点を緩和しようとする。
本論文では,機械データに訓練されたニューラルネットワークを後述する物理形成型アプローチへの第一歩を提案する。
これにより、主成分分析はRNNの細胞状態における分散表現をデコレーションし、既知の基本関数との比較を可能にする。
論文 参考訳（メタデータ） (2021-04-20T18:38:52Z) - Graph Structure of Neural Networks [104.33754950606298]
ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。
リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。
トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
論文 参考訳（メタデータ） (2020-07-13T17:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。