論文の概要: Improving Performance in Neural Networks by Dendrites-Activated
Connections
- arxiv url: http://arxiv.org/abs/2301.00924v1
- Date: Tue, 3 Jan 2023 01:36:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-04 13:54:23.640671
- Title: Improving Performance in Neural Networks by Dendrites-Activated
Connections
- Title（参考訳）: デンドライト活性化結合によるニューラルネットワークの性能向上
- Authors: Carlo Metta, Marco Fantozzi, Andrea Papini, Gianluca Amato, Matteo
Bergamaschi, Silvia Giulia Galfr\`e, Alessandro Marchetti, Michelangelo
Vegli\`o, Maurizio Parton, Francesco Morandin
- Abstract要約: 人工ニューラルネットワークの計算単位は、生物学的ニューロンの単純化されたモデルに従う。
本稿では,デンドライトが作用する生体ニューロンについて,より複雑なモデルを提案する。
本稿では,この新モデルをReLU計算ユニットに実装し,その生物学的妥当性について論じる。
- 参考スコア（独自算出の注目度）: 47.398941178060205
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Computational units in artificial neural networks follow a simplified model
of biological neurons. In the biological model, the output signal of a neuron
runs down the axon, splits following the many branches at its end, and passes
identically to all the downward neurons of the network. Each of the downward
neurons will use their copy of this signal as one of many inputs dendrites,
integrate them all and fire an output, if above some threshold. In the
artificial neural network, this translates to the fact that the nonlinear
filtering of the signal is performed in the upward neuron, meaning that in
practice the same activation is shared between all the downward neurons that
use that signal as their input. Dendrites thus play a passive role.
We propose a slightly more complex model for the biological neuron, where
dendrites play an active role: the activation in the output of the upward
neuron becomes optional, and instead the signals going through each dendrite
undergo independent nonlinear filterings, before the linear combination.
We implement this new model into a ReLU computational unit and discuss its
biological plausibility. We compare this new computational unit with the
standard one and describe it from a geometrical point of view. We provide a
Keras implementation of this unit into fully connected and convolutional layers
and estimate their FLOPs and weights change. We then use these layers in ResNet
architectures on CIFAR-10, CIFAR-100, Imagenette, and Imagewoof, obtaining
performance improvements over standard ResNets up to 1.73%. Finally, we prove a
universal representation theorem for continuous functions on compact sets and
show that this new unit has more representational power than its standard
counterpart.
- Abstract（参考訳）: ニューラルネットワークの計算単位は、生体ニューロンの簡易モデルに従う。
生物学的モデルでは、ニューロンの出力信号が軸索を駆け下り、その末端にある多くの分岐に従って分裂し、ネットワークのすべての下方ニューロンと同一に通過する。
下向きのニューロンは、この信号のコピーを多くの入力デンドライトの1つとして使用し、もししきい値を超えると、それらを全て統合して出力を発射する。
人工ニューラルネットワークにおいて、これは信号の非線形フィルタリングが上向きのニューロンで実行されるという事実を意味し、実際には、その信号を入力として使用するすべての下方ニューロン間で同じ活性化が共有される。
デンドライトは受動的に作用する。
本稿では, より複雑な生体ニューロンモデルを提案する。デンドライトは, 上向きニューロンの出力の活性化が任意となり, それぞれのデンドライトを通る信号は, 線形結合の前に独立な非線形フィルタリングを行う。
本稿では,この新モデルをReLU計算ユニットに実装し,その生物学的妥当性について論じる。
この新しい計算単位を標準単位と比較し,幾何学的観点から記述する。
我々は、このユニットのkeras実装を完全連結層と畳み込み層に実装し、そのフラップと重みの変化を推定する。
次に、これらのレイヤをCIFAR-10、CIFAR-100、Imagenette、ImagewoofのResNetアーキテクチャで使用し、標準ResNetのパフォーマンスを最大1.73%向上させる。
最後に、コンパクト集合上の連続函数に対する普遍表現定理を証明し、この新しい単位がその標準単位よりも多くの表現力を持つことを示す。
関連論文リスト
- Interpreting Neural Networks through Mahalanobis Distance [0.0]
本稿では,ニューラルネットワークの線形層とマハラノビス距離を結合する理論的枠組みを提案する。
この研究は理論的であり、経験的データを含んでいないが、提案された距離に基づく解釈は、モデルロバスト性を高め、一般化を改善し、ニューラルネットワークの決定をより直観的な説明を提供する可能性がある。
論文 参考訳（メタデータ） (2024-10-25T07:21:44Z) - Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
最近の研究は、任意の関数がパラメータの小さな部分集合をチューニングすることによって同様に学習できることを示し、普遍近似の境界を推し進めている。
ランダムな重みを固定したフィードフォワードニューラルネットワークが、バイアスのみを学習することによって複数のタスクを実行することができることを示す理論的および数値的なエビデンスを提供する。
我々の結果は神経科学に関係しており、シナプスの重みを変えることなく動的に行動に関連のある変化が起こる可能性を実証している。
論文 参考訳（メタデータ） (2024-07-01T04:25:49Z) - Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - Look beyond labels: Incorporating functional summary information in
Bayesian neural networks [11.874130244353253]
予測確率に関する要約情報を組み込むための簡単な手法を提案する。
利用可能な要約情報は、拡張データとして組み込まれ、ディリクレプロセスでモデル化される。
本稿では,タスクの難易度やクラス不均衡をモデルに示す方法について述べる。
論文 参考訳（メタデータ） (2022-07-04T07:06:45Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - Fast Adaptation with Linearized Neural Networks [35.43406281230279]
ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。
この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。
この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
論文 参考訳（メタデータ） (2021-03-02T03:23:03Z) - Infinite-dimensional Folded-in-time Deep Neural Networks [0.0]
本研究では,より厳密な数学的解析を可能にする無限次元一般化を提案する。
また,重みの降下訓練を可能にする機能的バックプロパゲーションアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-01-08T11:30:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。