Fugu-MT 論文翻訳(概要): When, where, and how to add new neurons to ANNs

論文の概要: When, where, and how to add new neurons to ANNs

arxiv url: http://arxiv.org/abs/2202.08539v1
Date: Thu, 17 Feb 2022 09:32:08 GMT
ステータス: 処理完了
システム内更新日: 2022-02-18 21:23:14.076562
Title: When, where, and how to add new neurons to ANNs
Title（参考訳）: ANNに新しいニューロンをいつ、どこで、どのように追加するか
Authors: Kaitlin Maile, Emmanuel Rachelson, Herv\'e Luga, Dennis G. Wilson
Abstract要約: ANNの神経新生は、プルーニングのような他の形態の構造学習と比較しても、未調査で難しい問題である。神経新生の様々な側面、すなわち学習過程においてニューロンをいつ、どこで、どのように追加するかを研究するための枠組みを紹介する。
参考スコア（独自算出の注目度）: 3.0969191504482243
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neurogenesis in ANNs is an understudied and difficult problem, even compared to other forms of structural learning like pruning. By decomposing it into triggers and initializations, we introduce a framework for studying the various facets of neurogenesis: when, where, and how to add neurons during the learning process. We present the Neural Orthogonality (NORTH*) suite of neurogenesis strategies, combining layer-wise triggers and initializations based on the orthogonality of activations or weights to dynamically grow performant networks that converge to an efficient size. We evaluate our contributions against other recent neurogenesis works with MLPs.
Abstract（参考訳）: annの神経新生は未熟で難しい問題であり、刈り取りのような構造学習の他の形態と比較しても難しい。トリガーと初期化に分解することで、学習プロセス中にニューロンをいつ、どこで、どのように追加するかという、神経発生のさまざまな側面を研究するフレームワークを導入します。神経新生戦略のニューラルオルソゴン性(NORTH*)スイートを,活性化や重みの直交性に基づく階層的トリガと初期化を組み合わせて,効率の良い大きさに収束する性能的ネットワークを動的に成長させる。 MLPを用いた他の神経新生研究に対する我々の貢献を評価する。

関連論文リスト

Enhancing learning in artificial neural networks through cellular heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文参考訳（メタデータ） (2024-07-05T14:11:28Z)
Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文参考訳（メタデータ） (2024-02-19T09:29:37Z)
Astrocyte-Enabled Advancements in Spiking Neural Networks for Large Language Modeling [7.863029550014263]
Astrocyte-Modulated Spiking Neural Network (AstroSNN) は、記憶保持や自然言語生成に関わるタスクにおいて、例外的な性能を示す。 AstroSNNは、実用的なアプリケーションで低レイテンシ、高スループット、メモリ使用量の削減を示す。
論文参考訳（メタデータ） (2023-12-12T06:56:31Z)
Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文参考訳（メタデータ） (2023-12-01T05:20:57Z)
Low Tensor Rank Learning of Neural Dynamics [0.0]
低次元課題を解決するために訓練されたRNNにおいて,低テンソルランクの重みが自然に現れることを示す。本研究は,生物ニューラルネットワークと人工ニューラルネットワークの双方において,学習による集団接続の進化に関する知見を提供する。
論文参考訳（メタデータ） (2023-08-22T17:08:47Z)
Learning to Act through Evolution of Neural Diversity in Random Neural Networks [9.387749254963595]
ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
論文参考訳（メタデータ） (2023-05-25T11:33:04Z)
Dive into the Power of Neuronal Heterogeneity [8.6837371869842]
進化戦略(ES)を用いて、スパイキングニューラルネットワーク(SNN)を最適化し、ランダムネットワークにおける異種ニューロンのより堅牢な最適化を実現するためのバックプロパゲーションベースの手法が直面する課題を示す。膜時間定数は神経異質性において重要な役割を担っており、その分布は生物学的実験で観察されたものと類似している。
論文参考訳（メタデータ） (2023-05-19T07:32:29Z)
Constraints on the design of neuromorphic circuits set by the properties of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文参考訳（メタデータ） (2022-12-08T15:16:04Z)
Modeling Associative Plasticity between Synapses to Enhance Learning of Spiking Neural Networks [4.736525128377909]
Spiking Neural Networks(SNN)は、ニューラルネットワークの第3世代であり、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする。本稿では,シナプス間の結合可塑性をモデル化し,頑健で効果的な学習機構を提案する。本手法は静的および最先端のニューロモルフィックデータセット上での優れた性能を実現する。
論文参考訳（メタデータ） (2022-07-24T06:12:23Z)
Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文参考訳（メタデータ） (2021-04-22T04:01:32Z)
Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。