論文の概要: Adapting to time: why nature evolved a diverse set of neurons

• arxiv url: http://arxiv.org/abs/2404.14325v1
• Date: Mon, 22 Apr 2024 16:38:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 13:17:55.191749
• Title: Adapting to time: why nature evolved a diverse set of neurons
• Title（参考訳）: 時間に適応する:なぜ自然は多様なニューロン群を進化させたのか
• Authors: Karim G. Habashy, Benjamin D. Evans, Dan F. M. Goodman, Jeffrey S. Bowers,
• Abstract要約: よりリッチなポテンシャル力学を持つネットワークは、時間的構造を持つタスクをより簡単かつ堅牢に学習できることを示す。 また,様々なパラメータ間の強い相互作用と,入力や重みのノイズに対処する際の時間的パラメータの適応の利点を示す。
• 参考スコア（独自算出の注目度）: 5.024813922014977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evolution has yielded a diverse set of neurons with varying morphologies and physiological properties that impact their processing of temporal information. In addition, it is known empirically that spike timing is a significant factor in neural computations. However, despite these two observations, most neural network models deal with spatially structured inputs with synchronous time steps, while restricting variation to parameters like weights and biases. In this study, we investigate the relevance of adapting temporal parameters, like time constants and delays, in feedforward networks that map spatio-temporal spike patterns. In this context, we show that networks with richer potential dynamics are able to more easily and robustly learn tasks with temporal structure. Indeed, when adaptation was restricted to weights, networks were unable to solve most problems. We also show strong interactions between the various parameters and the advantages of adapting temporal parameters when dealing with noise in inputs and weights, which might prove useful in neuromorphic hardware design.
• Abstract（参考訳）: 進化は、時間情報の処理に影響を及ぼす様々な形態と生理学的特性を持つ多様なニューロンの集合を生み出した。 さらに、スパイクタイミングが神経計算において重要な要素であることは実証的に知られている。 しかしながら、これらの2つの観測にもかかわらず、ほとんどのニューラルネットワークモデルは、重みやバイアスといったパラメータの変動を制限しながら、同期時間ステップで空間的に構造化された入力を扱う。 本研究では、時空間スパイクパターンをマッピングするフィードフォワードネットワークにおいて、時間定数や遅延などの時間的パラメータを適用することの関連性について検討する。 この文脈では、よりリッチなポテンシャル力学を持つネットワークは、時間的構造を持つタスクをより簡単かつ堅牢に学習できることが示される。 実際、適応が重みに制限されたとき、ネットワークはほとんどの問題を解決することができなかった。 また,様々なパラメータ間の強い相互作用と,入力や重みのノイズに対処する際の時間的パラメータの利点も示し,ニューロモルフィックなハードウェア設計において有用であることを示した。

関連論文リスト

• Backpropagation through space, time, and the brain [2.10686639478348]
  我々は、ニューロンの物理的、動的ネットワークにおける完全局所的時間的クレジット割り当てのための計算フレームワークであるGeneral Latent Equilibriumを紹介する。 特に、GLEは樹状樹の形態を利用して、単一ニューロンのより複雑な情報保存と処理を可能にしている。
  論文  参考訳（メタデータ） (2024-03-25T16:57:02Z)
• Astrocytes as a mechanism for meta-plasticity and contextually-guided network function [2.66269503676104]
  アストロサイトは、ユビキタスでエニグマティックな非神経細胞である。 アストロサイトは脳機能や神経計算においてより直接的で活発な役割を果たす。
  論文  参考訳（メタデータ） (2023-11-06T20:31:01Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Learning to Act through Evolution of Neural Diversity in Random Neural Networks [9.387749254963595]
  ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。 本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
  論文  参考訳（メタデータ） (2023-05-25T11:33:04Z)
• Physically constrained neural networks to solve the inverse problem for neuron models [0.29005223064604074]
  システム生物学とシステム神経生理学は、生体医学科学における多くの重要な応用のための強力なツールである。 ディープニューラルネットワークの分野における最近の進歩は、非線形で普遍的な近似を定式化する可能性を示している。
  論文  参考訳（メタデータ） (2022-09-24T12:51:15Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Exploring weight initialization, diversity of solutions, and degradation in recurrent neural networks trained for temporal and decision-making tasks [0.0]
  リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、脳機能と構造をモデル化するために頻繁に使用される。 本研究では,時間変化刺激による時間・流れ制御タスクを行うために,小型完全接続型RNNを訓練した。
  論文  参考訳（メタデータ） (2019-06-03T21:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。