論文の概要: Representation learning for neural population activity with Neural Data Transformers

• arxiv url: http://arxiv.org/abs/2108.01210v1
• Date: Mon, 2 Aug 2021 23:36:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-04 13:51:09.399910
• Title: Representation learning for neural population activity with Neural Data Transformers
• Title（参考訳）: ニューラルネットワークトランスフォーマによる神経集団活動の表現学習
• Authors: Joel Ye, Chethan Pandarinath
• Abstract要約: 我々は、明示的力学モデルの非リカレントな代替品であるNeural Data Transformer (NDT)を紹介する。 NDTは3.9msの推論を可能にし、リアルタイムアプリケーションのループ時間内では、リカレントベースラインの6倍以上高速である。
• 参考スコア（独自算出の注目度）: 3.4376560669160394
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural population activity is theorized to reflect an underlying dynamical structure. This structure can be accurately captured using state space models with explicit dynamics, such as those based on recurrent neural networks (RNNs). However, using recurrence to explicitly model dynamics necessitates sequential processing of data, slowing real-time applications such as brain-computer interfaces. Here we introduce the Neural Data Transformer (NDT), a non-recurrent alternative. We test the NDT's ability to capture autonomous dynamical systems by applying it to synthetic datasets with known dynamics and data from monkey motor cortex during a reaching task well-modeled by RNNs. The NDT models these datasets as well as state-of-the-art recurrent models. Further, its non-recurrence enables 3.9ms inference, well within the loop time of real-time applications and more than 6 times faster than recurrent baselines on the monkey reaching dataset. These results suggest that an explicit dynamics model is not necessary to model autonomous neural population dynamics. Code: https://github.com/snel-repo/neural-data-transformers
• Abstract（参考訳）: 神経集団活動は、基礎となる動的構造を反映するように理論化されている。 この構造は、リカレントニューラルネットワーク(RNN)に基づくような明示的なダイナミックスを持つ状態空間モデルを使用して正確にキャプチャすることができる。 しかし、ダイナミックスを明示的にモデル化するために繰り返しを使用するには、データのシーケンシャルな処理が必要である。 ここでは、非リカレントな代替手段であるNeural Data Transformer (NDT)を紹介する。 rnnsによくモデル化された到達タスク中に、既知のダイナミクスとサル運動野からのデータを持つ合成データセットに適用することにより、ndtの自律力学系をキャプチャする能力をテストする。 NDTはこれらのデータセットと最先端のリカレントモデルをモデル化する。 さらに、その非再帰は3.9msの推論を可能にし、リアルタイムアプリケーションのループ時間の範囲内で、サル到達データセットのリカレントベースラインよりも6倍以上高速である。 これらの結果は、自律神経集団力学をモデル化するために明示的な力学モデルは必要ないことを示唆している。 コード: https://github.com/snel-repo/neural-data-transformers

関連論文リスト

• Inferring stochastic low-rank recurrent neural networks from neural data [5.179844449042386]
  計算神経科学における中心的な目的は、大きなニューロンの活動と基礎となる力学系を関連付けることである。 低ランクリカレントニューラルネットワーク(RNN)は、トラクタブルダイナミクスを持つことによって、そのような解釈可能性を示す。 そこで本研究では,低ランクRNNをモンテカルロ変分法に適合させる手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T15:57:49Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
  連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。 重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:39:06Z)
• Inferring Population Dynamics in Macaque Cortex [0.0]
  我々は、リカレントニューラルネットワーク(RNN)に基づくシンプルで汎用的なアーキテクチャが、より多くの"bespoke"モデルより優れていることを示す。 我々は、RNNが課す自己回帰バイアスが最高レベルのパフォーマンスを達成するために重要であると論じる。
  論文  参考訳（メタデータ） (2023-04-05T14:24:27Z)
• STNDT: Modeling Neural Population Activity with a Spatiotemporal Transformer [19.329190789275565]
  我々は、個々のニューロンの応答を明示的にモデル化するNDTベースのアーキテクチャであるSpatioTemporal Neural Data Transformer (STNDT)を紹介する。 本モデルは,4つのニューラルデータセット間での神経活動の推定において,アンサンブルレベルでの最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-06-09T18:54:23Z)
• An advanced spatio-temporal convolutional recurrent neural network for storm surge predictions [73.4962254843935]
  本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。 本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
  論文  参考訳（メタデータ） (2022-04-18T23:42:18Z)
• Analytically Integratable Zero-restlength Springs for Capturing Dynamic Modes unrepresented by Quasistatic Neural Networks [6.601755525003559]
  本稿では,ニューラルネットワークを用いて,ある種の動的シミュレーションをリアルタイムにモデル化するための新しいパラダイムを提案する。 準静的ニューラルネットワーク(QNN)の推論を(リアルタイム)動的シミュレーション層で拡張する。 本研究では, 驚くほど少量の動的シミュレーションデータから, スプリングパラメータを頑健に学習できることを実証した。
  論文  参考訳（メタデータ） (2022-01-25T06:44:15Z)
• Deep inference of latent dynamics with spatio-temporal super-resolution using selective backpropagation through time [15.648009434801885]
  現代の神経インタフェースは、脳回路内の100万のニューロンの活動をアクセスすることができる。 帯域幅制限はしばしば、より大きな空間サンプリング(より多くのチャンネルやピクセル)と時間サンプリングの頻度の間のトレードオフを生み出す。 ここでは、ニューロン間の関係を利用して、ニューロン時系列における超解像を得ることが可能であることを実証する。
  論文  参考訳（メタデータ） (2021-10-29T20:18:29Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。