論文の概要: Self-organization of multi-layer spiking neural networks

• arxiv url: http://arxiv.org/abs/2006.06902v1
• Date: Fri, 12 Jun 2020 01:44:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 02:23:00.174567
• Title: Self-organization of multi-layer spiking neural networks
• Title（参考訳）: 多層スパイクニューラルネットワークの自己組織化
• Authors: Guruprasad Raghavan, Cong Lin, Matt Thomson
• Abstract要約: 発達する脳における複雑な構造の形成を可能にする重要なメカニズムは、神経活動の経時的波の出現である。 多層ニューラルネットワークをシームレスに積み重ねることのできる動的システムの形でモジュール式ツールキットを提案する。 我々のフレームワークは、多層パーセプトロンからオートエンコーダまで、幅広いアーキテクチャの自己組織化に繋がる。
• 参考スコア（独自算出の注目度）: 4.859525864236446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Living neural networks in our brains autonomously self-organize into large, complex architectures during early development to result in an organized and functional organic computational device. A key mechanism that enables the formation of complex architecture in the developing brain is the emergence of traveling spatio-temporal waves of neuronal activity across the growing brain. Inspired by this strategy, we attempt to efficiently self-organize large neural networks with an arbitrary number of layers into a wide variety of architectures. To achieve this, we propose a modular tool-kit in the form of a dynamical system that can be seamlessly stacked to assemble multi-layer neural networks. The dynamical system encapsulates the dynamics of spiking units, their inter/intra layer interactions as well as the plasticity rules that control the flow of information between layers. The key features of our tool-kit are (1) autonomous spatio-temporal waves across multiple layers triggered by activity in the preceding layer and (2) Spike-timing dependent plasticity (STDP) learning rules that update the inter-layer connectivity based on wave activity in the connecting layers. Our framework leads to the self-organization of a wide variety of architectures, ranging from multi-layer perceptrons to autoencoders. We also demonstrate that emergent waves can self-organize spiking network architecture to perform unsupervised learning, and networks can be coupled with a linear classifier to perform classification on classic image datasets like MNIST. Broadly, our work shows that a dynamical systems framework for learning can be used to self-organize large computational devices.
• Abstract（参考訳）: 私たちの脳内のリビングニューラルネットワークは、初期の開発中に自律的に大規模で複雑なアーキテクチャに自己組織化され、組織的で機能的な有機計算装置が生まれる。 発達する脳における複雑な構造の形成を可能にする重要なメカニズムは、成長する脳を横断する神経活動の時空間波の出現である。 この戦略にインスパイアされた我々は、任意の数のレイヤを持つ大規模ニューラルネットワークを、幅広いアーキテクチャに効率的に自己組織化しようとする。 これを実現するために,マルチ層ニューラルネットワークをシームレスに積み重ねることができる動的システムの形でモジュール式ツールキットを提案する。 動的システムは、スパイキングユニットのダイナミクス、それらの層間/層間相互作用、および層間の情報の流れを制御する塑性規則をカプセル化する。 ツールキットの主な特徴は,(1)前層における活動によって引き起こされる複数の層にまたがる自律時空間波,(2)接続層における波動活動に基づいて層間接続を更新するスパイク刺激依存塑性(STDP)学習規則である。 私たちのフレームワークは、多層パーセプトロンからオートエンコーダまで、さまざまなアーキテクチャの自己組織化につながります。 また,創発波はスパイキングネットワークアーキテクチャを自己組織化して教師なし学習を行い,ネットワークは線形分類器と結合してmnistのような古典的な画像データセットの分類を行うことができることを示した。 我々の研究は、大規模計算装置の自己組織化に学習のための動的システムフレームワークを利用できることを示している。

関連論文リスト

• The Dynamic Net Architecture: Learning Robust and Holistic Visual Representations Through Self-Organizing Networks [3.9848584845601014]
  動的ネットアーキテクチャ(DNA)と呼ばれる新しいインテリジェントシステムアーキテクチャを提案する。 DNAは繰り返し安定化されたネットワークに依存し、それを視覚に応用するために議論する。
  論文  参考訳（メタデータ） (2024-07-08T06:22:10Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• DSAM: A Deep Learning Framework for Analyzing Temporal and Spatial Dynamics in Brain Networks [4.041732967881764]
  ほとんどのrs-fMRI研究は、関心のある脳領域にまたがる単一の静的機能接続行列を計算している。 これらのアプローチは、脳のダイナミクスを単純化し、目の前のゴールを適切に考慮していないリスクがある。 本稿では,時系列から直接ゴール固有の機能的接続行列を学習する,解釈可能な新しいディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-19T23:35:06Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• On the effectiveness of neural priors in modeling dynamical systems [28.69155113611877]
  ニューラルネットワークがそのようなシステムを学ぶ際に提供するアーキテクチャの規則化について論じる。 動的システムをモデル化する際の複数の問題を解決するために,レイヤ数が少ない単純な座標ネットワークが利用できることを示す。
  論文  参考訳（メタデータ） (2023-03-10T06:21:24Z)
• Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
  脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。 本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。 臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-05-06T03:45:36Z)
• Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
  ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。 これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。 以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T17:33:51Z)
• A multi-agent model for growing spiking neural networks [0.0]
  このプロジェクトでは、学習メカニズムとして、スパイキングニューラルネットワークのニューロン間の接続を拡大するためのルールについて検討している。 シミュレーション環境での結果は、与えられたパラメータセットに対して、テストされた関数を再現するトポロジに到達可能であることを示した。 このプロジェクトはまた、モデルパラメーターに最適な値を得るために、遺伝的アルゴリズムのようなテクニックを使用するための扉を開く。
  論文  参考訳（メタデータ） (2020-09-21T15:11:29Z)
• Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
  我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。 本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
  論文  参考訳（メタデータ） (2020-08-24T09:49:19Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。