論文の概要: Understanding Artificial Neural Network's Behavior from Neuron Activation Perspective

• arxiv url: http://arxiv.org/abs/2412.18073v1
• Date: Tue, 24 Dec 2024 01:01:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:55:22.682423
• Title: Understanding Artificial Neural Network's Behavior from Neuron Activation Perspective
• Title（参考訳）: ニューロン活性化の観点からのニューラルネットワークの挙動の理解
• Authors: Yizhou Zhang, Yang Sui,
• Abstract要約: 本稿では,ニューロン活性化ダイナミクスのレンズによるディープニューラルネットワーク(DNN)の複雑な動作について検討する。 本稿では,モデルのニューロン活性化パターンをプロセスとして解析する確率的フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.251799609350725
• License:
• Abstract: This paper explores the intricate behavior of deep neural networks (DNNs) through the lens of neuron activation dynamics. We propose a probabilistic framework that can analyze models' neuron activation patterns as a stochastic process, uncovering theoretical insights into neural scaling laws, such as over-parameterization and the power-law decay of loss with respect to dataset size. By deriving key mathematical relationships, we present that the number of activated neurons increases in the form of $N(1-(\frac{bN}{D+bN})^b)$, and the neuron activation should follows power-law distribution. Based on these two mathematical results, we demonstrate how DNNs maintain generalization capabilities even under over-parameterization, and we elucidate the phase transition phenomenon observed in loss curves as dataset size plotted in log-axis (i.e. the data magnitude increases linearly). Moreover, by combining the above two phenomenons and the power-law distribution of neuron activation, we derived the power-law decay of neural network's loss function as the data size scale increases. Furthermore, our analysis bridges the gap between empirical observations and theoretical underpinnings, offering experimentally testable predictions regarding parameter efficiency and model compressibility. These findings provide a foundation for understanding neural network scaling and present new directions for optimizing DNN performance.
• Abstract（参考訳）: 本稿では,ニューロン活性化ダイナミクスのレンズによるディープニューラルネットワーク(DNN)の複雑な動作について検討する。 本稿では,モデルニューロンの活性化パターンを確率的プロセスとして解析し,データセットサイズに対する過度パラメータ化や損失のゆるい減衰といったニューラルスケーリング法則に関する理論的知見を明らかにする確率的枠組みを提案する。 重要な数学的関係を導出することにより、活性化ニューロンの数が$N(1-(\frac{bN}{D+bN})^b)$の形で増加することが示され、ニューロンの活性化は電源則分布に従うべきである。 これらの2つの数学的結果に基づいて、DNNが過パラメータ化の下でも一般化能力を維持する方法を示し、ログ軸にプロットされたデータセットサイズとして損失曲線で観測される相転移現象を解明する(すなわち、データサイズが線形に増加する)。 さらに、上記の2つの現象とニューロン活性化のパワー-ロッド分布を組み合わせることで、データサイズが大きくなるにつれてニューラルネットワークの損失関数のパワー-ロッド崩壊を導出した。 さらに,実験的な観測と理論的基盤のギャップを橋渡しし,パラメータ効率とモデル圧縮性に関する実験的に検証可能な予測を行う。 これらの知見は、ニューラルネットワークのスケーリングを理解する基盤を提供し、DNNのパフォーマンスを最適化するための新しい方向を示す。

関連論文リスト

• Statistical tuning of artificial neural network [0.0]
  本研究では、ニューラルネットワークの理解を強化する方法を紹介し、特に1つの隠蔽層を持つモデルに焦点を当てる。 本稿では,入力ニューロンの意義を統計的に評価し,次元減少のためのアルゴリズムを提案する。 この研究は、ニューラルネットワークを解釈するための堅牢な統計フレームワークを提示することにより、説明可能な人工知能の分野を前進させる。
  論文  参考訳（メタデータ） (2024-09-24T19:47:03Z)
• Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。 本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
  論文  参考訳（メタデータ） (2024-07-08T23:33:12Z)
• Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
  グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。 我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-02T22:15:54Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• STNDT: Modeling Neural Population Activity with a Spatiotemporal Transformer [19.329190789275565]
  我々は、個々のニューロンの応答を明示的にモデル化するNDTベースのアーキテクチャであるSpatioTemporal Neural Data Transformer (STNDT)を紹介する。 本モデルは,4つのニューラルデータセット間での神経活動の推定において,アンサンブルレベルでの最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-06-09T18:54:23Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Neuronal Correlation: a Central Concept in Neural Network [22.764342635264452]
  神経相関は, 重み行列を用いて効率的に推定できることが示唆された。 神経相関は高次元隠れ空間におけるエントロピー推定の精度に大きく影響している。
  論文  参考訳（メタデータ） (2022-01-22T15:01:50Z)
• Generalizable Machine Learning in Neuroscience using Graph Neural Networks [0.0]
  ニューラルネットワークは、ニューロンレベルの動的予測と行動状態の分類の両方において、非常によく機能することを示す。 実験の結果, グラフニューラルネットワークは構造モデルよりも優れ, 目に見えない生物の一般化に優れていた。
  論文  参考訳（メタデータ） (2020-10-16T18:09:46Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。