論文の概要: Neuron-centric Hebbian Learning

• arxiv url: http://arxiv.org/abs/2403.12076v2
• Date: Tue, 16 Apr 2024 08:19:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 22:36:28.806757
• Title: Neuron-centric Hebbian Learning
• Title（参考訳）: ニューロン中心のヘビアンラーニング
• Authors: Andrea Ferigo, Elia Cunegatti, Giovanni Iacca,
• Abstract要約: 神経中心型ヘビアンラーニング(NcHL)と呼ばれる新しい塑性モデルを提案する。 ABCD法則と比較すると、NcHLはパラメータを5W$から5N$に減らし、重量とニューロンの数に$W$と$N$、通常$N ll W$に減らしている。 我々はまた、ニューロンの活性化の記録に基づいて重みを近似することにより、より少ないメモリを必要とする、無重量のNcHLモデルも考案した。
• 参考スコア（独自算出の注目度）: 3.195234044113248
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: One of the most striking capabilities behind the learning mechanisms of the brain is the adaptation, through structural and functional plasticity, of its synapses. While synapses have the fundamental role of transmitting information across the brain, several studies show that it is the neuron activations that produce changes on synapses. Yet, most plasticity models devised for artificial Neural Networks (NNs), e.g., the ABCD rule, focus on synapses, rather than neurons, therefore optimizing synaptic-specific Hebbian parameters. This approach, however, increases the complexity of the optimization process since each synapse is associated to multiple Hebbian parameters. To overcome this limitation, we propose a novel plasticity model, called Neuron-centric Hebbian Learning (NcHL), where optimization focuses on neuron- rather than synaptic-specific Hebbian parameters. Compared to the ABCD rule, NcHL reduces the parameters from $5W$ to $5N$, being $W$ and $N$ the number of weights and neurons, and usually $N \ll W$. We also devise a ``weightless'' NcHL model, which requires less memory by approximating the weights based on a record of neuron activations. Our experiments on two robotic locomotion tasks reveal that NcHL performs comparably to the ABCD rule, despite using up to $\sim97$ times less parameters, thus allowing for scalable plasticity
• Abstract（参考訳）: 脳の学習メカニズムの背後にある最も顕著な能力の1つは、そのシナプスの構造的、機能的可塑性の適応である。 シナプスは脳全体に情報を伝達する基本的な役割を持っているが、いくつかの研究はシナプスに変化をもたらすニューロンの活性化であることを示している。 しかし、ニューラルネット(NN)のために考案されたほとんどの塑性モデルは、例えばABCDルールでは、ニューロンよりもシナプスに重点を置いており、したがってシナプス固有のヘビアンパラメータを最適化している。 しかし、このアプローチは、各シナプスが複数のヘビアンパラメータに関連付けられているため、最適化プロセスの複雑さを増大させる。 この制限を克服するために,神経中心型ヘビアンラーニング(NcHL)と呼ばれる新しい塑性モデルを提案する。 ABCD法則と比較すると、NcHLはパラメータを5W$から5N$に減らし、重量とニューロンの数に$W$と$N$、通常$N \ll W$に減らしている。 また、ニューロンの活性化の記録に基づいて重みを近似することにより、より少ないメモリを必要とする「太い」NcHLモデルも考案した。 2つのロボット移動タスクの実験により、NcHLは最大$\sim97$のパラメータを使用せずにABCDのルールに相容れない性能を示し、スケーラブルな可塑性を可能にした。

関連論文リスト

• Discovering Long-Term Effects on Parameter Efficient Fine-tuning [36.83255498301937]
  事前訓練されたニューラルネットワーク(Annns)は、堅牢なパターン認識機能を示す。 アンとBNNはヒト脳、特にBNNと大きな類似点を共有している アンは微調整によって新しい知識を得ることができる。
  論文  参考訳（メタデータ） (2024-08-24T03:27:29Z)
• Let's Focus on Neuron: Neuron-Level Supervised Fine-tuning for Large Language Model [43.107778640669544]
  大型言語モデル(LLM)は、様々な行動や役割を示すニューロンで構成されている。 最近の研究によると、全てのニューロンが異なるデータセットで活動しているわけではない。 我々は,パラメータ学習の粒度を個々のニューロンに絞り込む新しいアプローチであるNeFT(Neuron-Level Fine-Tuning)を導入する。
  論文  参考訳（メタデータ） (2024-03-18T09:55:01Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Synaptic Stripping: How Pruning Can Bring Dead Neurons Back To Life [0.0]
  我々は、致命的な神経細胞問題に対処する手段として、シナプスストリッピングを導入する。 トレーニング中に問題のある接続を自動的に取り除くことで、死んだ神経細胞を再生することができる。 我々は,ネットワーク幅と深さの関数として,これらのダイナミクスを研究するために,いくつかのアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2023-02-11T23:55:50Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Short-Term Plasticity Neurons Learning to Learn and Forget [0.0]
  短期可塑性(英: Short-term plasticity、STP)は、大脳皮質のシナプスに崩壊する記憶を保存するメカニズムである。 ここでは、新しいタイプのリカレントニューラルネットワークであるAtari Neuron(STPN)を紹介します。
  論文  参考訳（メタデータ） (2022-06-28T14:47:56Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Backpropamine: training self-modifying neural networks with differentiable neuromodulated plasticity [14.19992298135814]
  このような神経修飾塑性を持つ人工ニューラルネットワークは、勾配降下でトレーニングできることを初めて示す。 神経変調塑性は、強化学習と教師あり学習の両方においてニューラルネットワークの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2020-02-24T23:19:17Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。