論文の概要: When, where, and how to add new neurons to ANNs
- arxiv url: http://arxiv.org/abs/2202.08539v1
- Date: Thu, 17 Feb 2022 09:32:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-18 21:23:14.076562
- Title: When, where, and how to add new neurons to ANNs
- Title(参考訳): ANNに新しいニューロンをいつ、どこで、どのように追加するか
- Authors: Kaitlin Maile, Emmanuel Rachelson, Herv\'e Luga, Dennis G. Wilson
- Abstract要約: ANNの神経新生は、プルーニングのような他の形態の構造学習と比較しても、未調査で難しい問題である。
神経新生の様々な側面、すなわち学習過程においてニューロンをいつ、どこで、どのように追加するかを研究するための枠組みを紹介する。
- 参考スコア(独自算出の注目度): 3.0969191504482243
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neurogenesis in ANNs is an understudied and difficult problem, even compared
to other forms of structural learning like pruning. By decomposing it into
triggers and initializations, we introduce a framework for studying the various
facets of neurogenesis: when, where, and how to add neurons during the learning
process. We present the Neural Orthogonality (NORTH*) suite of neurogenesis
strategies, combining layer-wise triggers and initializations based on the
orthogonality of activations or weights to dynamically grow performant networks
that converge to an efficient size. We evaluate our contributions against other
recent neurogenesis works with MLPs.
- Abstract(参考訳): annの神経新生は未熟で難しい問題であり、刈り取りのような構造学習の他の形態と比較しても難しい。
トリガーと初期化に分解することで、学習プロセス中にニューロンをいつ、どこで、どのように追加するかという、神経発生のさまざまな側面を研究するフレームワークを導入します。
神経新生戦略のニューラルオルソゴン性(NORTH*)スイートを,活性化や重みの直交性に基づく階層的トリガと初期化を組み合わせて,効率の良い大きさに収束する性能的ネットワークを動的に成長させる。
MLPを用いた他の神経新生研究に対する我々の貢献を評価する。
関連論文リスト
- Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳(メタデータ) (2024-07-05T14:11:28Z) - Astrocyte-Enabled Advancements in Spiking Neural Networks for Large
Language Modeling [7.863029550014263]
Astrocyte-Modulated Spiking Neural Network (AstroSNN) は、記憶保持や自然言語生成に関わるタスクにおいて、例外的な性能を示す。
AstroSNNは、実用的なアプリケーションで低レイテンシ、高スループット、メモリ使用量の削減を示す。
論文 参考訳(メタデータ) (2023-12-12T06:56:31Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - Low Tensor Rank Learning of Neural Dynamics [0.0]
低次元課題を解決するために訓練されたRNNにおいて,低テンソルランクの重みが自然に現れることを示す。
本研究は,生物ニューラルネットワークと人工ニューラルネットワークの双方において,学習による集団接続の進化に関する知見を提供する。
論文 参考訳(メタデータ) (2023-08-22T17:08:47Z) - Learning to Act through Evolution of Neural Diversity in Random Neural
Networks [9.387749254963595]
ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。
本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
論文 参考訳(メタデータ) (2023-05-25T11:33:04Z) - Dive into the Power of Neuronal Heterogeneity [8.6837371869842]
進化戦略(ES)を用いて、スパイキングニューラルネットワーク(SNN)を最適化し、ランダムネットワークにおける異種ニューロンのより堅牢な最適化を実現するためのバックプロパゲーションベースの手法が直面する課題を示す。
膜時間定数は神経異質性において重要な役割を担っており、その分布は生物学的実験で観察されたものと類似している。
論文 参考訳(メタデータ) (2023-05-19T07:32:29Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳(メタデータ) (2022-12-08T15:16:04Z) - Modeling Associative Plasticity between Synapses to Enhance Learning of
Spiking Neural Networks [4.736525128377909]
Spiking Neural Networks(SNN)は、ニューラルネットワークの第3世代であり、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする。
本稿では,シナプス間の結合可塑性をモデル化し,頑健で効果的な学習機構を提案する。
本手法は静的および最先端のニューロモルフィックデータセット上での優れた性能を実現する。
論文 参考訳(メタデータ) (2022-07-24T06:12:23Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。