論文の概要: Adapting to time: why nature evolved a diverse set of neurons
- arxiv url: http://arxiv.org/abs/2404.14325v1
- Date: Mon, 22 Apr 2024 16:38:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 13:17:55.191749
- Title: Adapting to time: why nature evolved a diverse set of neurons
- Title(参考訳): 時間に適応する:なぜ自然は多様なニューロン群を進化させたのか
- Authors: Karim G. Habashy, Benjamin D. Evans, Dan F. M. Goodman, Jeffrey S. Bowers,
- Abstract要約: よりリッチなポテンシャル力学を持つネットワークは、時間的構造を持つタスクをより簡単かつ堅牢に学習できることを示す。
また,様々なパラメータ間の強い相互作用と,入力や重みのノイズに対処する際の時間的パラメータの適応の利点を示す。
- 参考スコア(独自算出の注目度): 5.024813922014977
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evolution has yielded a diverse set of neurons with varying morphologies and physiological properties that impact their processing of temporal information. In addition, it is known empirically that spike timing is a significant factor in neural computations. However, despite these two observations, most neural network models deal with spatially structured inputs with synchronous time steps, while restricting variation to parameters like weights and biases. In this study, we investigate the relevance of adapting temporal parameters, like time constants and delays, in feedforward networks that map spatio-temporal spike patterns. In this context, we show that networks with richer potential dynamics are able to more easily and robustly learn tasks with temporal structure. Indeed, when adaptation was restricted to weights, networks were unable to solve most problems. We also show strong interactions between the various parameters and the advantages of adapting temporal parameters when dealing with noise in inputs and weights, which might prove useful in neuromorphic hardware design.
- Abstract(参考訳): 進化は、時間情報の処理に影響を及ぼす様々な形態と生理学的特性を持つ多様なニューロンの集合を生み出した。
さらに、スパイクタイミングが神経計算において重要な要素であることは実証的に知られている。
しかしながら、これらの2つの観測にもかかわらず、ほとんどのニューラルネットワークモデルは、重みやバイアスといったパラメータの変動を制限しながら、同期時間ステップで空間的に構造化された入力を扱う。
本研究では、時空間スパイクパターンをマッピングするフィードフォワードネットワークにおいて、時間定数や遅延などの時間的パラメータを適用することの関連性について検討する。
この文脈では、よりリッチなポテンシャル力学を持つネットワークは、時間的構造を持つタスクをより簡単かつ堅牢に学習できることが示される。
実際、適応が重みに制限されたとき、ネットワークはほとんどの問題を解決することができなかった。
また,様々なパラメータ間の強い相互作用と,入力や重みのノイズに対処する際の時間的パラメータの利点も示し,ニューロモルフィックなハードウェア設計において有用であることを示した。
関連論文リスト
- DelGrad: Exact gradients in spiking networks for learning transmission delays and weights [0.9411751957919126]
スパイキングニューラルネットワーク(SNN)は本質的には情報表現と処理のための信号のタイミングに依存している。
最近の研究は、これらの遅延とシナプス重みを学習する大きな利点を示している。
イベントベース方式で, シナプス重みと遅延の両方に関して, 正確な損失勾配を計算するための解析的アプローチを提案する。
論文 参考訳(メタデータ) (2024-04-30T00:02:34Z) - Order from chaos: Interplay of development and learning in recurrent
networks of structured neurons [1.6880888629604525]
2つの集団からなる再帰的ネットワークで複雑な配列を学習するために、完全に局所的で常に可塑性の規則を導入する。
我々のモデルは資源効率が良く、少数のニューロンのみを用いて複雑なシーケンスを学習することができる。
これらの特徴を鳥の鳴き声学習のモックアップで示し、ネットワークはまず長いマルコフ列を学習する。
論文 参考訳(メタデータ) (2024-02-26T17:30:34Z) - Astrocytes as a mechanism for meta-plasticity and contextually-guided
network function [2.66269503676104]
アストロサイトは、ユビキタスでエニグマティックな非神経細胞である。
アストロサイトは脳機能や神経計算においてより直接的で活発な役割を果たす。
論文 参考訳(メタデータ) (2023-11-06T20:31:01Z) - Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。
実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。
したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
論文 参考訳(メタデータ) (2023-07-14T08:51:03Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳(メタデータ) (2023-06-14T13:34:13Z) - Temporal Weights [0.0]
人工ニューラルネットワークでは、重みはシナプスの静的表現である。
我々は、時間とともに、神経および一般的な生物学的現象のコアメカニズムを捉えることができる同期を記述するモデルを使用する。
これらのテンポラルウェイト(TW)に適した理想は、連続的なダイナミクスと時間依存性を備えたニューラルODEである。
結果として生じるリカレントニューラルネットワークは、シーケンスの順序、時間の長さとスケールを計算することで、時間的ダイナミクスを効率的にモデル化する。
論文 参考訳(メタデータ) (2022-12-13T23:59:21Z) - Impact of spiking neurons leakages and network recurrences on
event-based spatio-temporal pattern recognition [0.0]
ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。
スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
論文 参考訳(メタデータ) (2022-11-14T21:34:02Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳(メタデータ) (2021-03-23T09:32:06Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳(メタデータ) (2020-11-12T06:06:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。