論文の概要: Activation function dependence of the storage capacity of treelike neural networks

• arxiv url: http://arxiv.org/abs/2007.11136v3
• Date: Thu, 4 Feb 2021 19:06:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 04:40:04.175002
• Title: Activation function dependence of the storage capacity of treelike neural networks
• Title（参考訳）: 木状ニューラルネットワークの貯蔵容量の活性化関数依存性
• Authors: Jacob A. Zavatone-Veth and Cengiz Pehlevan
• Abstract要約: ニューラルネットワークにおいて非線形活性化関数が提案されている。 本研究では,活性化関数が木のような2層ネットワークの記憶能力に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 16.244541005112747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The expressive power of artificial neural networks crucially depends on the nonlinearity of their activation functions. Though a wide variety of nonlinear activation functions have been proposed for use in artificial neural networks, a detailed understanding of their role in determining the expressive power of a network has not emerged. Here, we study how activation functions affect the storage capacity of treelike two-layer networks. We relate the boundedness or divergence of the capacity in the infinite-width limit to the smoothness of the activation function, elucidating the relationship between previously studied special cases. Our results show that nonlinearity can both increase capacity and decrease the robustness of classification, and provide simple estimates for the capacity of networks with several commonly used activation functions. Furthermore, they generate a hypothesis for the functional benefit of dendritic spikes in branched neurons.
• Abstract（参考訳）: 人工ニューラルネットワークの表現力は、その活性化機能の非線形性に大きく依存する。 ニューラルネットワークでの使用には様々な非線形活性化関数が提案されているが、ネットワークの表現力を決定する上での役割に関する詳細な理解は現れていない。 本稿では,木型2層ネットワークの記憶容量にアクティベーション関数が与える影響について検討する。 無限幅限界におけるキャパシティの有界性やばらつきを活性化関数の滑らかさに関連付け, 前研究した特殊ケース間の関係を解明する。 この結果から, 非線形性はキャパシティを増大させ, 分類のロバスト性を低下させるとともに, ネットワークのキャパシティを簡易に推定できることを示す。 さらに、分岐ニューロンにおける樹状突起スパイクの機能的利益の仮説を生成する。

関連論文リスト

• A More Accurate Approximation of Activation Function with Few Spikes Neurons [6.306126887439676]
  スパイキングニューラルネットワーク(SNN)はエネルギー効率のよいニューラルネットワークとして多くの注目を集めている。 従来のスパイキングニューロン、例えば漏れた統合・発火ニューロンは、複雑な非線形活性化関数を正確に表現することはできない。
  論文  参考訳（メタデータ） (2024-08-19T02:08:56Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• STL: A Signed and Truncated Logarithm Activation Function for Neural Networks [5.9622541907827875]
  活性化関数はニューラルネットワークにおいて重要な役割を果たす。 本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。 提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
  論文  参考訳（メタデータ） (2023-07-31T03:41:14Z)
• Approximating nonlinear functions with latent boundaries in low-rank excitatory-inhibitory spiking networks [5.955727366271805]
  スパイクに基づく興奮抑制スパイクネットワークのための新しいフレームワークを考案した。 本研究は,生体スパイクに基づく計算の力学的理解の出発点となるスパイクネットワークの新しい視点を提案する。
  論文  参考訳（メタデータ） (2023-07-18T15:17:00Z)
• Points of non-linearity of functions generated by random neural networks [0.0]
  1つの隠れ活性化層、任意の幅、ReLU活性化関数を持つニューラルネットワークによって出力される実数から実数への関数を考える。 非線型性の点の期待分布を計算する。
  論文  参考訳（メタデータ） (2023-04-19T17:40:19Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
  我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。 人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
  論文  参考訳（メタデータ） (2021-02-18T14:53:12Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• Under the Hood of Neural Networks: Characterizing Learned Representations by Functional Neuron Populations and Network Ablations [0.3441021278275805]
  学習課題を遂行するネットワーク内の単一ニューロンとニューロン群の役割について、光を当てた。 ニューロンの大きさやアクティベーションの選択性、ネットワーク性能への影響は、スタンドアローンの指標として十分ではないことが分かりました。
  論文  参考訳（メタデータ） (2020-04-02T20:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。