論文の概要: Attention for Causal Relationship Discovery from Biological Neural Dynamics

• arxiv url: http://arxiv.org/abs/2311.06928v3
• Date: Thu, 23 Nov 2023 08:40:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 02:27:59.734799
• Title: Attention for Causal Relationship Discovery from Biological Neural Dynamics
• Title（参考訳）: 生体神経力学からの因果関係発見への注意
• Authors: Ziyu Lu, Anika Tabassum, Shruti Kulkarni, Lu Mi, J. Nathan Kutz, Eric Shea-Brown, Seung-Hwan Lim
• Abstract要約: 本稿では,各ノードに複雑な非線形ダイナミクスを持つネットワークにおけるグランガー因果関係を学習するための変圧器モデルの可能性について検討する。 クロスアテンションモジュールはニューロン間の因果関係を効果的に把握し,最も一般的なグランガー因果関係解析法と同等かそれ以上の精度で検出することを示した。
• 参考スコア（独自算出の注目度）: 9.097847269529202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores the potential of the transformer models for learning Granger causality in networks with complex nonlinear dynamics at every node, as in neurobiological and biophysical networks. Our study primarily focuses on a proof-of-concept investigation based on simulated neural dynamics, for which the ground-truth causality is known through the underlying connectivity matrix. For transformer models trained to forecast neuronal population dynamics, we show that the cross attention module effectively captures the causal relationship among neurons, with an accuracy equal or superior to that for the most popular Granger causality analysis method. While we acknowledge that real-world neurobiology data will bring further challenges, including dynamic connectivity and unobserved variability, this research offers an encouraging preliminary glimpse into the utility of the transformer model for causal representation learning in neuroscience.
• Abstract（参考訳）: 本稿では,神経生物学的および生体物理ネットワークのように,各ノードに複雑な非線形ダイナミクスを持つネットワークにおけるグランガー因果関係を学習するためのトランスフォーマーモデルの可能性について検討する。 本研究は主に、基礎となる接続マトリックスを介して基底的因果関係が知られているシミュレーションニューラルネットワークに基づく概念実証研究に焦点をあてた。 神経集団動態を予測するために訓練されたトランスフォーマーモデルに対し、クロスアテンションモジュールはニューロン間の因果関係を効果的に捉え、最も一般的なグランガー因果解析法と同等かそれ以上の精度で得ることを示した。 現実の神経生物学のデータは、動的接続性や観測されていない変動性など、さらなる課題をもたらすことを認めていますが、この研究は、神経科学における因果表現学習のためのトランスフォーマーモデルの有用性について、前向きな予見を与えてくれます。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Neural Dynamics Model of Visual Decision-Making: Learning from Human Experts [28.340344705437758]
  視覚入力から行動出力まで,包括的な視覚的意思決定モデルを実装した。 我々のモデルは人間の行動と密接に一致し、霊長類の神経活動を反映する。 ニューロイメージング・インフォームド・ファインチューニング手法を導入し、モデルに適用し、性能改善を実現した。
  論文  参考訳（メタデータ） (2024-09-04T02:38:52Z)
• Explosive neural networks via higher-order interactions in curved statistical manifolds [43.496401697112695]
  我々は、高次現象を研究するためのプロトタイプモデルのクラスとして、曲面ニューラルネットワークを紹介した。 これらの曲線ニューラルネットワークは、メモリ検索を高速化する自己制御プロセスを実装している。
  論文  参考訳（メタデータ） (2024-08-05T09:10:29Z)
• Dive into the Power of Neuronal Heterogeneity [8.6837371869842]
  進化戦略(ES)を用いて、スパイキングニューラルネットワーク(SNN)を最適化し、ランダムネットワークにおける異種ニューロンのより堅牢な最適化を実現するためのバックプロパゲーションベースの手法が直面する課題を示す。 膜時間定数は神経異質性において重要な役割を担っており、その分布は生物学的実験で観察されたものと類似している。
  論文  参考訳（メタデータ） (2023-05-19T07:32:29Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Approaching epidemiological dynamics of COVID-19 with physics-informed neural networks [23.95944607153291]
  SIRモデルに埋め込まれた物理インフォームドニューラルネットワーク(PINN)は、感染症の時間的進化のダイナミクスを理解するために考案された。 この手法はドイツで報告された新型コロナウイルス(COVID-19)のデータに適用され、ウイルスの拡散傾向を正確に把握し予測できることが示されている。
  論文  参考訳（メタデータ） (2023-02-17T10:36:58Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Increasing Liquid State Machine Performance with Edge-of-Chaos Dynamics Organized by Astrocyte-modulated Plasticity [0.0]
  液体状態機械(LSM)は勾配のバックプロパゲーションなしで内部重量を調整する。 近年の知見は、アストロサイトがシナプスの可塑性と脳のダイナミクスを調節していることを示唆している。 本稿では, 自己組織的近接臨界力学を用いて, 性能の低いニューロン-アストロサイト液状状態機械 (NALSM) を提案する。
  論文  参考訳（メタデータ） (2021-10-26T23:04:40Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。