論文の概要: Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks
- arxiv url: http://arxiv.org/abs/2406.04733v1
- Date: Fri, 7 Jun 2024 08:32:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 14:59:58.597980
- Title: Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks
- Title（参考訳）: 脳様フィードフォワード神経回路におけるヘビアンシナプスと構造塑性を用いた教師なし表現学習
- Authors: Naresh Ravichandran, Anders Lansner, Pawel Herman,
- Abstract要約: 教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。
このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Neural networks that can capture key principles underlying brain computation offer exciting new opportunities for developing artificial intelligence and brain-like computing algorithms. Such networks remain biologically plausible while leveraging localized forms of synaptic learning rules and modular network architecture found in the neocortex. Compared to backprop-driven deep learning approches, they provide more suitable models for deploying on neuromorphic hardware and have greater potential for scalability on large-scale computing clusters. The development of such brain-like neural networks depends on having a learning procedure that can build effective internal representations from data. In this work, we introduce and evaluate a brain-like neural network model capable of unsupervised representation learning. It builds on the Bayesian Confidence Propagation Neural Network (BCPNN), which has earlier been implemented as abstract as well as biophyscially detailed recurrent attractor neural networks explaining various cortical associative memory phenomena. Here we developed a feedforward BCPNN model to perform representation learning by incorporating a range of brain-like attributes derived from neocortical circuits such as cortical columns, divisive normalization, Hebbian synaptic plasticity, structural plasticity, sparse activity, and sparse patchy connectivity. The model was tested on a diverse set of popular machine learning benchmarks: grayscale images (MNIST, Fashion-MNIST), RGB natural images (SVHN, CIFAR-10), QSAR (MUV, HIV), and malware detection (EMBER). The performance of the model when using a linear classifier to predict the class labels fared competitively with conventional multi-layer perceptrons and other state-of-the-art brain-like neural networks.
- Abstract（参考訳）: 脳計算の基礎となる重要な原理を捉えるニューラルネットワークは、人工知能と脳に似た計算アルゴリズムを開発するためのエキサイティングな新しい機会を提供する。
このようなネットワークは、新皮質に見られる局所的なシナプス学習規則やモジュラーネットワークアーキテクチャを活用しながら、生物学的に妥当なままである。
バックプロップ駆動のディープラーニングアプローチと比較して、それらはニューロモルフィックハードウェアにデプロイするためのより適切なモデルを提供し、大規模コンピューティングクラスタ上でのスケーラビリティの可能性をもっている。
このような脳のようなニューラルネットワークの開発は、データから効果的な内部表現を構築することができる学習手順を持つことに依存している。
本研究では,教師なし表現学習が可能な脳様ニューラルネットワークモデルの導入と評価を行う。
BCPNN(Bayesian Confidence Propagation Neural Network)は、これまでに抽象的に実装され、様々な皮質性連想記憶現象を説明する、生化学的に詳細なリカレントアトラクションニューラルネットワークである。
そこで我々は,大脳皮質円柱,分割正規化,ヘビアンシナプス可塑性,構造塑性,スパース活性,スパースパッチ接続などの新皮質回路から派生した脳様特性を取り入れ,表現学習を行うためのフィードフォワードBCPNNモデルを開発した。
このモデルは、グレースケール画像(MNIST、Fashion-MNIST)、RGB自然画像(SVHN、CIFAR-10)、QSAR(MUV、HIV)、マルウェア検出(EMBER)など、さまざまな機械学習ベンチマークでテストされた。
線形分類器を用いてクラスラベルを予測する際のモデルの性能は、従来の多層パーセプトロンや他の最先端の脳に似たニューラルネットワークと競合するものであった。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Spiking representation learning for associative memories [0.0]
本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。
モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
論文 参考訳（メタデータ） (2024-06-05T08:30:11Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Memory-enriched computation and learning in spiking neural networks
through Hebbian plasticity [9.453554184019108]
ヘビアン可塑性は生物学的記憶において重要な役割を担っていると考えられている。
本稿では,ヘビーンのシナプス可塑性に富む新しいスパイクニューラルネットワークアーキテクチャを提案する。
ヘビーンの豊かさは、ニューラルネットワークの計算能力と学習能力の点で驚くほど多彩であることを示す。
論文 参考訳（メタデータ） (2022-05-23T12:48:37Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳（メタデータ） (2022-05-06T03:45:36Z) - Feature visualization for convolutional neural network models trained on
neuroimaging data [0.0]
畳み込みニューラルネットワーク(CNN)の機能可視化による最初の結果を示す。
我々は、MRIデータに基づく性分類や人為的病変分類など、さまざまなタスクのためにCNNを訓練した。
得られた画像は、その形状を含む人工的な病変の学習概念を明らかにするが、性分類タスクにおける抽象的な特徴を解釈することは困難である。
論文 参考訳（メタデータ） (2022-03-24T15:24:38Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳（メタデータ） (2022-01-19T09:26:34Z) - Training Deep Spiking Auto-encoders without Bursting or Dying Neurons
through Regularization [9.34612743192798]
スパイクニューラルネットワークは、計算神経科学における次世代の脳モデルに対する有望なアプローチである。
膜電位に基づくバックプロパゲーションを用いたエンドツーエンド学習を、スパイクする畳み込みオートエンコーダに適用する。
膜電位とスパイク出力に正規化を適用することで、死と破裂の両方のニューロンをうまく回避できることを示す。
論文 参考訳（メタデータ） (2021-09-22T21:27:40Z) - A multi-agent model for growing spiking neural networks [0.0]
このプロジェクトでは、学習メカニズムとして、スパイキングニューラルネットワークのニューロン間の接続を拡大するためのルールについて検討している。
シミュレーション環境での結果は、与えられたパラメータセットに対して、テストされた関数を再現するトポロジに到達可能であることを示した。
このプロジェクトはまた、モデルパラメーターに最適な値を得るために、遺伝的アルゴリズムのようなテクニックを使用するための扉を開く。
論文 参考訳（メタデータ） (2020-09-21T15:11:29Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。