論文の概要: STNDT: Modeling Neural Population Activity with a Spatiotemporal
Transformer
- arxiv url: http://arxiv.org/abs/2206.04727v1
- Date: Thu, 9 Jun 2022 18:54:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-13 14:53:22.190836
- Title: STNDT: Modeling Neural Population Activity with a Spatiotemporal
Transformer
- Title(参考訳): stndt:時空間トランスフォーマによる神経集団活動のモデル化
- Authors: Trung Le and Eli Shlizerman
- Abstract要約: 我々は、個々のニューロンの応答を明示的にモデル化するNDTベースのアーキテクチャであるSpatioTemporal Neural Data Transformer (STNDT)を紹介する。
本モデルは,4つのニューラルデータセット間での神経活動の推定において,アンサンブルレベルでの最先端性能を実現することを示す。
- 参考スコア(独自算出の注目度): 19.329190789275565
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modeling neural population dynamics underlying noisy single-trial spiking
activities is essential for relating neural observation and behavior. A recent
non-recurrent method - Neural Data Transformers (NDT) - has shown great success
in capturing neural dynamics with low inference latency without an explicit
dynamical model. However, NDT focuses on modeling the temporal evolution of the
population activity while neglecting the rich covariation between individual
neurons. In this paper we introduce SpatioTemporal Neural Data Transformer
(STNDT), an NDT-based architecture that explicitly models responses of
individual neurons in the population across time and space to uncover their
underlying firing rates. In addition, we propose a contrastive learning loss
that works in accordance with mask modeling objective to further improve the
predictive performance. We show that our model achieves state-of-the-art
performance on ensemble level in estimating neural activities across four
neural datasets, demonstrating its capability to capture autonomous and
non-autonomous dynamics spanning different cortical regions while being
completely agnostic to the specific behaviors at hand. Furthermore, STNDT
spatial attention mechanism reveals consistently important subsets of neurons
that play a vital role in driving the response of the entire population,
providing interpretability and key insights into how the population of neurons
performs computation.
- Abstract(参考訳): 雑音下での単房スパイク活動に基づく神経集団動態のモデル化は、神経の観察と行動に必要不可欠である。
最近の非リカレント手法であるNeural Data Transformers (NDT)は、明示的な動的モデルなしで低推論レイテンシでニューラルダイナミクスをキャプチャすることに成功した。
しかし、NDTは個々のニューロン間の豊富な共変を無視しながら、集団活動の時間的進化をモデル化することに焦点を当てている。
本稿では,時間と空間にまたがる個体群内の個々のニューロンの応答を明示的にモデル化し,その基礎となる発火率を明らかにするndtベースのアーキテクチャであるstndtを提案する。
さらに,予測性能を向上させるために,マスクモデリングの目的に応じて機能する対照的な学習損失を提案する。
本モデルは, 4つのニューラルデータセット間での神経活動の推定において, アンサンブルレベルでの最先端性能を実現し, 異なる皮質領域にまたがる自律的および非自律的ダイナミクスを, 手前の行動に完全に依存しながら捉える能力を示す。
さらに、stndt空間的注意機構は、集団全体の応答を駆動する重要な役割を果たすニューロンの一貫した重要なサブセットを明らかにし、ニューロンの集団がどのように計算を行うかに関する解釈可能性と重要な洞察を提供する。
関連論文リスト
- Neuroformer: Multimodal and Multitask Generative Pretraining for Brain
Data [3.712362524473752]
最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。
視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。
我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
論文 参考訳(メタデータ) (2023-10-31T20:17:32Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Expressive architectures enhance interpretability of dynamics-based
neural population models [2.294014185517203]
シミュレーションされたニューラルネットワークから潜在カオスを引き付ける際のシーケンシャルオートエンコーダ(SAE)の性能を評価する。
広帯域再帰型ニューラルネットワーク(RNN)を用いたSAEでは,真の潜在状態次元での正確な発射速度を推定できないことがわかった。
論文 参考訳(メタデータ) (2022-12-07T16:44:26Z) - Mesoscopic modeling of hidden spiking neurons [3.6868085124383616]
我々は粗粒度と平均場近似を用いて、ボトムアップ・ニューラルグラウンド付き潜在変数モデル(neuLVM)を導出する。
neuLVMは、繰り返し発生するマルチポピュレーションスパイクニューラルネットワーク(SNN)に明示的にマッピングできる
シンセティックスパイク列車では,数個の観察されたニューロンが,大きなSNNの効率的なモデル逆転を実現するのに十分であることを示す。
論文 参考訳(メタデータ) (2022-05-26T17:04:39Z) - SIT: A Bionic and Non-Linear Neuron for Spiking Neural Network [12.237928453571636]
スパイキングニューラルネットワーク(SNN)は、時間的情報処理能力と消費電力の低さから、研究者の関心を喚起している。
現在の最先端の手法は、ニューロンが単純な Leaky-Integrate-and-Fire (LIF) モデルに基づいて構築されているため、生物学的な可視性と性能を制限している。
高レベルの動的複雑さのため、現代のニューロンモデルがSNNの実践で実装されることはめったにない。
論文 参考訳(メタデータ) (2022-03-30T07:50:44Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳(メタデータ) (2022-02-21T18:59:03Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳(メタデータ) (2021-11-29T15:27:51Z) - Deep inference of latent dynamics with spatio-temporal super-resolution
using selective backpropagation through time [15.648009434801885]
現代の神経インタフェースは、脳回路内の100万のニューロンの活動をアクセスすることができる。
帯域幅制限はしばしば、より大きな空間サンプリング(より多くのチャンネルやピクセル)と時間サンプリングの頻度の間のトレードオフを生み出す。
ここでは、ニューロン間の関係を利用して、ニューロン時系列における超解像を得ることが可能であることを実証する。
論文 参考訳(メタデータ) (2021-10-29T20:18:29Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳(メタデータ) (2020-12-07T01:20:38Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳(メタデータ) (2020-05-05T14:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。