論文の概要: Attention for Causal Relationship Discovery from Biological Neural
Dynamics
- arxiv url: http://arxiv.org/abs/2311.06928v3
- Date: Thu, 23 Nov 2023 08:40:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 02:27:59.734799
- Title: Attention for Causal Relationship Discovery from Biological Neural
Dynamics
- Title(参考訳): 生体神経力学からの因果関係発見への注意
- Authors: Ziyu Lu, Anika Tabassum, Shruti Kulkarni, Lu Mi, J. Nathan Kutz, Eric
Shea-Brown, Seung-Hwan Lim
- Abstract要約: 本稿では,各ノードに複雑な非線形ダイナミクスを持つネットワークにおけるグランガー因果関係を学習するための変圧器モデルの可能性について検討する。
クロスアテンションモジュールはニューロン間の因果関係を効果的に把握し,最も一般的なグランガー因果関係解析法と同等かそれ以上の精度で検出することを示した。
- 参考スコア(独自算出の注目度): 9.097847269529202
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper explores the potential of the transformer models for learning
Granger causality in networks with complex nonlinear dynamics at every node, as
in neurobiological and biophysical networks. Our study primarily focuses on a
proof-of-concept investigation based on simulated neural dynamics, for which
the ground-truth causality is known through the underlying connectivity matrix.
For transformer models trained to forecast neuronal population dynamics, we
show that the cross attention module effectively captures the causal
relationship among neurons, with an accuracy equal or superior to that for the
most popular Granger causality analysis method. While we acknowledge that
real-world neurobiology data will bring further challenges, including dynamic
connectivity and unobserved variability, this research offers an encouraging
preliminary glimpse into the utility of the transformer model for causal
representation learning in neuroscience.
- Abstract(参考訳): 本稿では,神経生物学的および生体物理ネットワークのように,各ノードに複雑な非線形ダイナミクスを持つネットワークにおけるグランガー因果関係を学習するためのトランスフォーマーモデルの可能性について検討する。
本研究は主に、基礎となる接続マトリックスを介して基底的因果関係が知られているシミュレーションニューラルネットワークに基づく概念実証研究に焦点をあてた。
神経集団動態を予測するために訓練されたトランスフォーマーモデルに対し、クロスアテンションモジュールはニューロン間の因果関係を効果的に捉え、最も一般的なグランガー因果解析法と同等かそれ以上の精度で得ることを示した。
現実の神経生物学のデータは、動的接続性や観測されていない変動性など、さらなる課題をもたらすことを認めていますが、この研究は、神経科学における因果表現学習のためのトランスフォーマーモデルの有用性について、前向きな予見を与えてくれます。
関連論文リスト
- Dive into the Power of Neuronal Heterogeneity [8.6837371869842]
進化戦略(ES)を用いて、スパイキングニューラルネットワーク(SNN)を最適化し、ランダムネットワークにおける異種ニューロンのより堅牢な最適化を実現するためのバックプロパゲーションベースの手法が直面する課題を示す。
膜時間定数は神経異質性において重要な役割を担っており、その分布は生物学的実験で観察されたものと類似している。
論文 参考訳(メタデータ) (2023-05-19T07:32:29Z) - Approaching epidemiological dynamics of COVID-19 with physics-informed
neural networks [23.95944607153291]
SIRモデルに埋め込まれた物理インフォームドニューラルネットワーク(PINN)は、感染症の時間的進化のダイナミクスを理解するために考案された。
この手法はドイツで報告された新型コロナウイルス(COVID-19)のデータに適用され、ウイルスの拡散傾向を正確に把握し予測できることが示されている。
論文 参考訳(メタデータ) (2023-02-17T10:36:58Z) - STNDT: Modeling Neural Population Activity with a Spatiotemporal
Transformer [19.329190789275565]
我々は、個々のニューロンの応答を明示的にモデル化するNDTベースのアーキテクチャであるSpatioTemporal Neural Data Transformer (STNDT)を紹介する。
本モデルは,4つのニューラルデータセット間での神経活動の推定において,アンサンブルレベルでの最先端性能を実現することを示す。
論文 参考訳(メタデータ) (2022-06-09T18:54:23Z) - A duality connecting neural network and cosmological dynamics [0.0]
本研究では、勾配降下によるニューラルネットワークの力学と、平らで真空エネルギーが支配する宇宙におけるスカラー場の力学が構造的に関連していることを示す。
この双対性は、ニューラルネットワークのダイナミクスを理解し説明するための、これらのシステム間のシナジーのためのフレームワークを提供する。
論文 参考訳(メタデータ) (2022-02-22T19:00:01Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳(メタデータ) (2022-02-21T18:59:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳(メタデータ) (2021-11-29T15:27:51Z) - Increasing Liquid State Machine Performance with Edge-of-Chaos Dynamics
Organized by Astrocyte-modulated Plasticity [0.0]
液体状態機械(LSM)は勾配のバックプロパゲーションなしで内部重量を調整する。
近年の知見は、アストロサイトがシナプスの可塑性と脳のダイナミクスを調節していることを示唆している。
本稿では, 自己組織的近接臨界力学を用いて, 性能の低いニューロン-アストロサイト液状状態機械 (NALSM) を提案する。
論文 参考訳(メタデータ) (2021-10-26T23:04:40Z) - A Predictive Coding Account for Chaotic Itinerancy [68.8204255655161]
予測符号化を実装したリカレントニューラルネットワークが,入力雑音の存在下でカオス的反復性に類似したニューラルトラジェクトリを生成する方法を示す。
本モデルを用いて,無作為かつ非依存なトラジェクタスイッチングトラジェクトリを生成する2つのシナリオを提案する。
論文 参考訳(メタデータ) (2021-06-16T16:48:14Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z) - Neuro-symbolic Neurodegenerative Disease Modeling as Probabilistic
Programmed Deep Kernels [93.58854458951431]
本稿では、神経変性疾患のパーソナライズされた予測モデリングのための、確率的プログラムによる深層カーネル学習手法を提案する。
我々の分析は、ニューラルネットワークとシンボリック機械学習のアプローチのスペクトルを考慮する。
我々は、アルツハイマー病の予測問題について評価を行い、深層学習を超越した結果を得た。
論文 参考訳(メタデータ) (2020-09-16T15:16:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。