論文の概要: Stably unactivated neurons in ReLU neural networks

• arxiv url: http://arxiv.org/abs/2412.06829v2
• Date: Tue, 17 Dec 2024 17:28:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:55:48.184200
• Title: Stably unactivated neurons in ReLU neural networks
• Title（参考訳）: ReLUニューラルネットにおける安定的不活性化ニューロン
• Authors: Natalie Brownlowe, Christopher R. Cornwell, Ethan Montes, Gabriel Quijano, Grace Stulman, Na Zhang,
• Abstract要約: ReLUニューラルネットワークでは、安定に活性化されないニューロンの存在は、ネットワークの表現力を低下させる。 本研究では、ニューラルネットワークの第2の隠蔽層におけるニューロンが安定に活性化されない確率について検討する。
• 参考スコア（独自算出の注目度）: 1.347660513756976
• License:
• Abstract: The choice of architecture of a neural network influences which functions will be realizable by that neural network and, as a result, studying the expressiveness of a chosen architecture has received much attention. In ReLU neural networks, the presence of stably unactivated neurons can reduce the network's expressiveness. In this work, we investigate the probability of a neuron in the second hidden layer of such neural networks being stably unactivated when the weights and biases are initialized from symmetric probability distributions. For networks with input dimension $n_0$, we prove that if the first hidden layer has $n_0+1$ neurons then this probability is exactly $\frac{2^{n_0}+1}{4^{n_0+1}}$, and if the first hidden layer has $n_1$ neurons, $n_1 \le n_0$, then the probability is $\frac{1}{2^{n_1+1}}$. Finally, for the case when the first hidden layer has more neurons than $n_0+1$, a conjecture is proposed along with the rationale. Computational evidence is presented to support the conjecture.
• Abstract（参考訳）: ニューラルネットワークのアーキテクチャの選択は、そのニューラルネットワークによって実現可能な機能に影響を与えるため、選択されたアーキテクチャの表現性を研究することに多くの注目を集めている。 ReLUニューラルネットワークでは、安定に活性化されないニューロンの存在は、ネットワークの表現力を低下させる。 本研究では, ニューラルネットワークの第2の隠蔽層において, 重みとバイアスが対称確率分布から初期化されるときに, 安定して非活性化されるニューロンの確率について検討する。 入力次元$n_0$の場合、第1の隠蔽層が$n_0+1$ニューロンを持つ場合、この確率は正確に$\frac{2^{n_0}+1}{4^{n_0+1}}$であり、第1の隠蔽層が$n_1$ニューロンを持つ場合、$n_1 \le n_0$であれば、その確率は$\frac{1}{2^{n_1+1}}$である。 最後に、第1の隠蔽層が$n_0+1$よりも多くのニューロンを持つ場合、理論とともに予想が提案される。 この予想を支持する計算的証拠が提示される。

関連論文リスト

• Should Under-parameterized Student Networks Copy or Average Teacher Weights? [7.777410338143785]
  例えば、$f*$自体が1つの隠れた層と$k$のニューロンを持つニューラルネットワークである場合を考える。 学生のニューロンは教師より少ないため、各学生のニューロンが教師のニューロンの1つをコピーすべきか、むしろ教師のニューロンのグループを平均すべきかは不明である。 フロー勾配が最適コピー平均臨界点に収束するerfアクティベーション関数や、各学生ニューロンが異なる教師ニューロンを概略コピーする他の点に収束するerfアクティベーション関数を求める。
  論文  参考訳（メタデータ） (2023-11-03T00:21:36Z)
• Identifying Interpretable Visual Features in Artificial and Biological Neural Systems [3.604033202771937]
  ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。 多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。 本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-17T17:41:28Z)
• Generalization Ability of Wide Neural Networks on $\mathbb{R}$ [8.508360765158326]
  広い2層ReLUニューラルネットワークのmathbbR$上での一般化能力について検討した。 $i)$幅$mrightarrowinfty$のとき、ニューラルネットワークカーネル(NNK)がNTKに均一に収束すると、$ii)$$$$K_1$のRKHSに対する回帰の最小値が$n-2/3$;$iii)$ 広義のニューラルネットワークをトレーニングする際に早期停止戦略を採用する場合、$ivとなる。
  論文  参考訳（メタデータ） (2023-02-12T15:07:27Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Network size and weights size for memorization with two-layers neural networks [15.333300054767726]
  本稿では,ニューロンの複雑な再結合をベースとしたReLUネットワークの新しいトレーニング手順を提案する。 Oleft(fracnd cdot fraclog(1/epsilon)epsilonright)$のニューロンと、体重のほぼ最適サイズの両方で近似記憶を示す。
  論文  参考訳（メタデータ） (2020-06-04T13:44:57Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。