論文の概要: Expressive architectures enhance interpretability of dynamics-based
neural population models
- arxiv url: http://arxiv.org/abs/2212.03771v3
- Date: Mon, 17 Apr 2023 13:09:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 23:16:25.404833
- Title: Expressive architectures enhance interpretability of dynamics-based
neural population models
- Title（参考訳）: 表現的アーキテクチャは、ダイナミクスに基づく神経集団モデルの解釈性を高める
- Authors: Andrew R. Sedler, Christopher Versteeg, Chethan Pandarinath
- Abstract要約: シミュレーションされたニューラルネットワークから潜在カオスを引き付ける際のシーケンシャルオートエンコーダ(SAE)の性能を評価する。
広帯域再帰型ニューラルネットワーク(RNN)を用いたSAEでは,真の潜在状態次元での正確な発射速度を推定できないことがわかった。
- 参考スコア（独自算出の注目度）: 2.294014185517203
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial neural networks that can recover latent dynamics from recorded
neural activity may provide a powerful avenue for identifying and interpreting
the dynamical motifs underlying biological computation. Given that neural
variance alone does not uniquely determine a latent dynamical system,
interpretable architectures should prioritize accurate and low-dimensional
latent dynamics. In this work, we evaluated the performance of sequential
autoencoders (SAEs) in recovering latent chaotic attractors from simulated
neural datasets. We found that SAEs with widely-used recurrent neural network
(RNN)-based dynamics were unable to infer accurate firing rates at the true
latent state dimensionality, and that larger RNNs relied upon dynamical
features not present in the data. On the other hand, SAEs with neural ordinary
differential equation (NODE)-based dynamics inferred accurate rates at the true
latent state dimensionality, while also recovering latent trajectories and
fixed point structure. Ablations reveal that this is mainly because NODEs (1)
allow use of higher-capacity multi-layer perceptrons (MLPs) to model the vector
field and (2) predict the derivative rather than the next state. Decoupling the
capacity of the dynamics model from its latent dimensionality enables NODEs to
learn the requisite low-D dynamics where RNN cells fail. Additionally, the fact
that the NODE predicts derivatives imposes a useful autoregressive prior on the
latent states. The suboptimal interpretability of widely-used RNN-based
dynamics may motivate substitution for alternative architectures, such as NODE,
that enable learning of accurate dynamics in low-dimensional latent spaces.
- Abstract（参考訳）: 記録された神経活動から潜伏するダイナミクスを回復できる人工ニューラルネットワークは、生物学的計算の基礎となる動的モチーフを特定し解釈するための強力な手段を提供する。
ニューラルネットワークのみが潜時力学系を一意に決定しないことを考えると、解釈可能なアーキテクチャは正確かつ低次元の潜時力学を優先すべきである。
そこで本研究では,ニューラルネットワークを用いたカオスアトラクションの回復におけるシーケンシャルオートエンコーダ(SAE)の性能評価を行った。
その結果, 広範に使用されるリカレントニューラルネットワーク(RNN)を用いたSAEでは, 真の潜在状態次元での正確な発射速度を推定できず, より大きなRNNはデータに存在しない動的特徴に依存していることがわかった。
一方,神経常微分方程式(ノード)に基づくsaeは,真の潜在状態次元における正確な速度を推定すると同時に,潜在軌道や不動点構造も復元する。
アブレーションは、主にNODがベクトル場をモデル化するために高容量多層パーセプトロン(MLP)を使用でき、(2)次の状態よりもデリバティブを予測できるためである。
潜在次元からダイナミクスモデルのキャパシティを分離することで、ノードはrnn細胞が失敗する必要な低次元ダイナミクスを学ぶことができる。
さらに、NODEが導関数を予測するという事実は、潜伏状態に先立って有用な自己回帰を課す。
広く使われているrnnベースのダイナミクスの準最適解釈性は、低次元の潜在空間における正確なダイナミクスの学習を可能にするノードのような代替アーキテクチャの置き換えを動機付ける可能性がある。
関連論文リスト
- Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - Unveiling the Potential of Spiking Dynamics in Graph Representation Learning through Spatial-Temporal Normalization and Coding Strategies [15.037300421748107]
スパイキングニューラルネットワーク(SNN)は、ニューロンのエネルギー効率と事象駆動処理を再現する可能性から、かなりの関心を集めている。
本研究は,グラフ表現学習の強化におけるスパイキングダイナミクスの特質とメリットについて考察する。
スパイキングダイナミクスを取り入れたスパイクに基づくグラフニューラルネットワークモデルを提案し,新しい時空間特徴正規化(STFN)技術により強化した。
論文 参考訳（メタデータ） (2024-07-30T02:53:26Z) - Inferring stochastic low-rank recurrent neural networks from neural data [5.179844449042386]
計算神経科学における中心的な目的は、大きなニューロンの活動と基礎となる力学系を関連付けることである。
低ランクリカレントニューラルネットワーク(RNN)は、トラクタブルダイナミクスを持つことによって、そのような解釈可能性を示す。
そこで本研究では,低ランクRNNをモンテカルロ変分法に適合させる手法を提案する。
論文 参考訳（メタデータ） (2024-06-24T15:57:49Z) - On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。
我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
論文 参考訳（メタデータ） (2023-07-28T13:22:32Z) - Interpretable statistical representations of neural population dynamics and geometry [4.459704414303749]
そこで我々は,manifold dynamics を局所流れ場に分解し,それらを共通潜在空間にマッピングする表現学習手法 MARBLE を提案する。
シミュレーションされた非線形力学系,リカレントニューラルネットワーク,および霊長類および歯列類からの実験的単一ニューロン記録において,創発的低次元潜伏表現が発見された。
これらの表現はニューラルネットワークや動物間で一貫性があり、認知計算の堅牢な比較を可能にする。
論文 参考訳（メタデータ） (2023-04-06T21:11:04Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-02-11T21:07:30Z) - STNDT: Modeling Neural Population Activity with a Spatiotemporal
Transformer [19.329190789275565]
我々は、個々のニューロンの応答を明示的にモデル化するNDTベースのアーキテクチャであるSpatioTemporal Neural Data Transformer (STNDT)を紹介する。
本モデルは,4つのニューラルデータセット間での神経活動の推定において,アンサンブルレベルでの最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2022-06-09T18:54:23Z) - Decomposed Linear Dynamical Systems (dLDS) for learning the latent
components of neural dynamics [6.829711787905569]
本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。
我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。
連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
論文 参考訳（メタデータ） (2022-06-07T02:25:38Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。