論文の概要: Adapting to time: Why nature may have evolved a diverse set of neurons

• arxiv url: http://arxiv.org/abs/2404.14325v3
• Date: Sun, 12 Jan 2025 05:36:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:29:21.022990
• Title: Adapting to time: Why nature may have evolved a diverse set of neurons
• Title（参考訳）: 時間に適応する:なぜ自然は多様なニューロン群を進化させたのか
• Authors: Karim G. Habashy, Benjamin D. Evans, Dan F. M. Goodman, Jeffrey S. Bowers,
• Abstract要約: 我々は、異なるパラメータサブセットを一定に保ちながら、時間的複雑さの異なるタスクでニューラルネットワークを訓練した。 厳密なリソース制約の下で全てのテスト条件を解決するためには,遅延の適応が不可欠であることがわかった。
• 参考スコア（独自算出の注目度）: 5.024813922014977
• License:
• Abstract: Brains have evolved diverse neurons with varying morphologies and dynamics that impact temporal information processing. In contrast, most neural network models use homogeneous units that vary only in spatial parameters (weights and biases). To explore the importance of temporal parameters, we trained spiking neural networks on tasks with varying temporal complexity, holding different parameter subsets constant. We found that adapting conduction delays is crucial for solving all test conditions under tight resource constraints. Remarkably, these tasks can be solved using only temporal parameters (delays and time constants) with constant weights. In more complex spatio-temporal tasks, an adaptable bursting parameter was essential. Overall, allowing adaptation of both temporal and spatial parameters enhances network robustness to noise, a vital feature for biological brains and neuromorphic computing systems. Our findings suggest that rich and adaptable dynamics may be the key for solving temporally structured tasks efficiently in evolving organisms, which would help explain the diverse physiological properties of biological neurons.
• Abstract（参考訳）: 脳は、時間情報処理に影響を与える様々な形態やダイナミクスを持つ多様なニューロンを進化させてきた。 対照的に、ほとんどのニューラルネットワークモデルは、空間的パラメータ(重みとバイアス)だけが異なる均一な単位を使用する。 時間的パラメータの重要性を探るため、時間的複雑性の異なるタスクにおいて、異なるパラメータサブセットを一定に保ちながら、スパイクニューラルネットワークを訓練した。 厳密な資源制約下での全ての試験条件の解決には, 導電遅延の適応が不可欠であることがわかった。 注目すべきは、これらのタスクは時間的パラメータ(遅延と時間定数)と一定の重みを持つだけで解決できることである。 より複雑な時空間的タスクでは、適応可能なバーストパラメータが必須であった。 全体として、時間的パラメータと空間的パラメータの両方を適応させることで、生物学的脳とニューロモルフィックコンピューティングシステムにとって重要な特徴であるノイズに対するネットワークの堅牢性を高める。 本研究は, 進化する生物において, 時間的に構造化されたタスクを効率的に解く上で, リッチで適応可能なダイナミクスが鍵となる可能性が示唆された。

関連論文リスト

• Backpropagation through space, time, and the brain [2.10686639478348]
  我々は、ニューロンの物理的、動的ネットワークにおける完全局所的時間的クレジット割り当てのための計算フレームワークであるGeneral Latent Equilibriumを紹介する。 特に、GLEは樹状樹の形態を利用して、単一ニューロンのより複雑な情報保存と処理を可能にしている。
  論文  参考訳（メタデータ） (2024-03-25T16:57:02Z)
• Astrocytes as a mechanism for meta-plasticity and contextually-guided network function [2.66269503676104]
  アストロサイトは、ユビキタスでエニグマティックな非神経細胞である。 アストロサイトは脳機能や神経計算においてより直接的で活発な役割を果たす。
  論文  参考訳（メタデータ） (2023-11-06T20:31:01Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Learning to Act through Evolution of Neural Diversity in Random Neural Networks [9.387749254963595]
  ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。 本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
  論文  参考訳（メタデータ） (2023-05-25T11:33:04Z)
• Physically constrained neural networks to solve the inverse problem for neuron models [0.29005223064604074]
  システム生物学とシステム神経生理学は、生体医学科学における多くの重要な応用のための強力なツールである。 ディープニューラルネットワークの分野における最近の進歩は、非線形で普遍的な近似を定式化する可能性を示している。
  論文  参考訳（メタデータ） (2022-09-24T12:51:15Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Exploring weight initialization, diversity of solutions, and degradation in recurrent neural networks trained for temporal and decision-making tasks [0.0]
  リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、脳機能と構造をモデル化するために頻繁に使用される。 本研究では,時間変化刺激による時間・流れ制御タスクを行うために,小型完全接続型RNNを訓練した。
  論文  参考訳（メタデータ） (2019-06-03T21:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。