論文の概要: Improving Performance in Neural Networks by Dendrites-Activated
Connections
- arxiv url: http://arxiv.org/abs/2301.00924v1
- Date: Tue, 3 Jan 2023 01:36:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-04 13:54:23.640671
- Title: Improving Performance in Neural Networks by Dendrites-Activated
Connections
- Title(参考訳): デンドライト活性化結合によるニューラルネットワークの性能向上
- Authors: Carlo Metta, Marco Fantozzi, Andrea Papini, Gianluca Amato, Matteo
Bergamaschi, Silvia Giulia Galfr\`e, Alessandro Marchetti, Michelangelo
Vegli\`o, Maurizio Parton, Francesco Morandin
- Abstract要約: 人工ニューラルネットワークの計算単位は、生物学的ニューロンの単純化されたモデルに従う。
本稿では,デンドライトが作用する生体ニューロンについて,より複雑なモデルを提案する。
本稿では,この新モデルをReLU計算ユニットに実装し,その生物学的妥当性について論じる。
- 参考スコア(独自算出の注目度): 47.398941178060205
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Computational units in artificial neural networks follow a simplified model
of biological neurons. In the biological model, the output signal of a neuron
runs down the axon, splits following the many branches at its end, and passes
identically to all the downward neurons of the network. Each of the downward
neurons will use their copy of this signal as one of many inputs dendrites,
integrate them all and fire an output, if above some threshold. In the
artificial neural network, this translates to the fact that the nonlinear
filtering of the signal is performed in the upward neuron, meaning that in
practice the same activation is shared between all the downward neurons that
use that signal as their input. Dendrites thus play a passive role.
We propose a slightly more complex model for the biological neuron, where
dendrites play an active role: the activation in the output of the upward
neuron becomes optional, and instead the signals going through each dendrite
undergo independent nonlinear filterings, before the linear combination.
We implement this new model into a ReLU computational unit and discuss its
biological plausibility. We compare this new computational unit with the
standard one and describe it from a geometrical point of view. We provide a
Keras implementation of this unit into fully connected and convolutional layers
and estimate their FLOPs and weights change. We then use these layers in ResNet
architectures on CIFAR-10, CIFAR-100, Imagenette, and Imagewoof, obtaining
performance improvements over standard ResNets up to 1.73%. Finally, we prove a
universal representation theorem for continuous functions on compact sets and
show that this new unit has more representational power than its standard
counterpart.
- Abstract(参考訳): ニューラルネットワークの計算単位は、生体ニューロンの簡易モデルに従う。
生物学的モデルでは、ニューロンの出力信号が軸索を駆け下り、その末端にある多くの分岐に従って分裂し、ネットワークのすべての下方ニューロンと同一に通過する。
下向きのニューロンは、この信号のコピーを多くの入力デンドライトの1つとして使用し、もししきい値を超えると、それらを全て統合して出力を発射する。
人工ニューラルネットワークにおいて、これは信号の非線形フィルタリングが上向きのニューロンで実行されるという事実を意味し、実際には、その信号を入力として使用するすべての下方ニューロン間で同じ活性化が共有される。
デンドライトは受動的に作用する。
本稿では, より複雑な生体ニューロンモデルを提案する。デンドライトは, 上向きニューロンの出力の活性化が任意となり, それぞれのデンドライトを通る信号は, 線形結合の前に独立な非線形フィルタリングを行う。
本稿では,この新モデルをReLU計算ユニットに実装し,その生物学的妥当性について論じる。
この新しい計算単位を標準単位と比較し,幾何学的観点から記述する。
我々は、このユニットのkeras実装を完全連結層と畳み込み層に実装し、そのフラップと重みの変化を推定する。
次に、これらのレイヤをCIFAR-10、CIFAR-100、Imagenette、ImagewoofのResNetアーキテクチャで使用し、標準ResNetのパフォーマンスを最大1.73%向上させる。
最後に、コンパクト集合上の連続函数に対する普遍表現定理を証明し、この新しい単位がその標準単位よりも多くの表現力を持つことを示す。
関連論文リスト
- How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Sparsifying Bayesian neural networks with latent binary variables and
normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。
まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。
さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文 参考訳(メタデータ) (2023-05-05T09:40:28Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳(メタデータ) (2022-11-21T15:27:22Z) - Look beyond labels: Incorporating functional summary information in
Bayesian neural networks [11.874130244353253]
予測確率に関する要約情報を組み込むための簡単な手法を提案する。
利用可能な要約情報は、拡張データとして組み込まれ、ディリクレプロセスでモデル化される。
本稿では,タスクの難易度やクラス不均衡をモデルに示す方法について述べる。
論文 参考訳(メタデータ) (2022-07-04T07:06:45Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳(メタデータ) (2022-06-15T17:58:34Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。
最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文 参考訳(メタデータ) (2022-01-30T04:52:31Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-10-01T10:03:57Z) - Fast Adaptation with Linearized Neural Networks [35.43406281230279]
ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。
この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。
この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
論文 参考訳(メタデータ) (2021-03-02T03:23:03Z) - Infinite-dimensional Folded-in-time Deep Neural Networks [0.0]
本研究では,より厳密な数学的解析を可能にする無限次元一般化を提案する。
また,重みの降下訓練を可能にする機能的バックプロパゲーションアルゴリズムを提供する。
論文 参考訳(メタデータ) (2021-01-08T11:30:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。