論文の概要: Dive into the Power of Neuronal Heterogeneity

• arxiv url: http://arxiv.org/abs/2305.11484v2
• Date: Fri, 13 Oct 2023 06:17:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 17:45:26.074793
• Title: Dive into the Power of Neuronal Heterogeneity
• Title（参考訳）: 神経異質性のパワーへの期待
• Authors: Guobin Shen, Dongcheng Zhao, Yiting Dong, Yang Li, Yi Zeng
• Abstract要約: 進化戦略(ES)を用いて、スパイキングニューラルネットワーク(SNN)を最適化し、ランダムネットワークにおける異種ニューロンのより堅牢な最適化を実現するためのバックプロパゲーションベースの手法が直面する課題を示す。 膜時間定数は神経異質性において重要な役割を担っており、その分布は生物学的実験で観察されたものと類似している。
• 参考スコア（独自算出の注目度）: 8.6837371869842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The biological neural network is a vast and diverse structure with high neural heterogeneity. Conventional Artificial Neural Networks (ANNs) primarily focus on modifying the weights of connections through training while modeling neurons as highly homogenized entities and lacking exploration of neural heterogeneity. Only a few studies have addressed neural heterogeneity by optimizing neuronal properties and connection weights to ensure network performance. However, this strategy impact the specific contribution of neuronal heterogeneity. In this paper, we first demonstrate the challenges faced by backpropagation-based methods in optimizing Spiking Neural Networks (SNNs) and achieve more robust optimization of heterogeneous neurons in random networks using an Evolutionary Strategy (ES). Experiments on tasks such as working memory, continuous control, and image recognition show that neuronal heterogeneity can improve performance, particularly in long sequence tasks. Moreover, we find that membrane time constants play a crucial role in neural heterogeneity, and their distribution is similar to that observed in biological experiments. Therefore, we believe that the neglected neuronal heterogeneity plays an essential role, providing new approaches for exploring neural heterogeneity in biology and new ways for designing more biologically plausible neural networks.
• Abstract（参考訳）: 生物学的ニューラルネットワークは巨大で多様な構造であり、高い神経異質性を持つ。 従来のニューラルネットワーク(anns)は、トレーニングを通じて接続の重み付けを変更することに集中し、ニューロンを高度に均質な実体としてモデル化し、神経の不均一性の探索を欠いている。 神経特性と接続重みを最適化し、ネットワーク性能を確保することで神経不均一性に対処した研究はわずかである。 しかし、この戦略は神経異質性の特定の寄与に影響を及ぼす。 本稿では,スパイクニューラルネットワーク(snn)の最適化において,バックプロパゲーションに基づく手法が直面する課題を最初に提示し,進化戦略(es)を用いたランダムネットワークにおける異種ニューロンのより堅牢な最適化を実現する。 作業記憶、連続制御、画像認識などのタスクの実験は、特に長いシーケンスタスクにおいて、神経の不均一性がパフォーマンスを向上させることを示す。 さらに, 膜時間定数は神経異質性において重要な役割を担っており, その分布は生物学的実験で観察されたものと類似している。 したがって、無視された神経の異質性は、生物学における神経の異質性を探究するための新しいアプローチと、より生物学的に妥当なニューラルネットワークを設計するための新しい方法を提供する。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。 本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
  論文  参考訳（メタデータ） (2024-07-08T23:33:12Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Growing Artificial Neural Networks for Control: the Role of Neuronal Diversity [7.479827648985631]
  生物学的進化において、複雑な神経構造は少数の細胞成分から成長する。 この自己組織化は、生物学的ニューラルネットワークの一般化と堅牢性において重要な役割を果たすと仮定されている。 本稿では,強化学習タスクを解くために,ニューラルネットワークを成長させるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-14T11:21:52Z)
• Mitigating Communication Costs in Neural Networks: The Role of Dendritic Nonlinearity [28.243134476634125]
  本研究では,ニューラルネットワークにおける非線形デンドライトの重要性について検討した。 その結果,樹状構造の統合はモデル容量と性能を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-06-21T00:28:20Z)
• Learning to Act through Evolution of Neural Diversity in Random Neural Networks [9.387749254963595]
  ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。 本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
  論文  参考訳（メタデータ） (2023-05-25T11:33:04Z)
• Connected Hidden Neurons (CHNNet): An Artificial Neural Network for Rapid Convergence [0.6218519716921521]
  我々は,同じ隠蔽層に隠されたニューロンが相互に相互に結合し,急速に収束する,より堅牢な人工知能ニューラルネットワークモデルを提案する。 深層ネットワークにおける提案モデルの実験研究により,従来のフィードフォワードニューラルネットワークと比較して,モデルが顕著に収束率を上昇させることを示した。
  論文  参考訳（メタデータ） (2023-05-17T14:00:38Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。