論文の概要: Time-Dependent VAE for Building Latent Representations from Visual Neural Activity with Complex Dynamics
- arxiv url: http://arxiv.org/abs/2408.07908v2
- Date: Wed, 02 Oct 2024 16:26:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:17:38.108291
- Title: Time-Dependent VAE for Building Latent Representations from Visual Neural Activity with Complex Dynamics
- Title(参考訳): 複雑ダイナミクスを用いた視覚神経活動からの潜時表現構築のための時間依存型VAE
- Authors: Liwei Huang, ZhengYu Ma, Liutao Yu, Huihui Zhou, Yonghong Tian,
- Abstract要約: TiDeSPL-VAEは複雑な視覚神経活動を効果的に分析し、自然な方法で時間的関係をモデル化することができる。
結果から,本モデルは自然主義的なシーン/ムーブメントにおいて最高の復号性能を得るだけでなく,明示的なニューラルダイナミクスを抽出することがわかった。
- 参考スコア(独自算出の注目度): 25.454851828755054
- License:
- Abstract: Seeking high-quality representations with latent variable models (LVMs) to reveal the intrinsic correlation between neural activity and behavior or sensory stimuli has attracted much interest. Most work has focused on analyzing motor neural activity that controls clear behavioral traces and has modeled neural temporal relationships in a way that does not conform to natural reality. For studies of visual brain regions, naturalistic visual stimuli are high-dimensional and time-dependent, making neural activity exhibit intricate dynamics. To cope with such conditions, we propose Time-Dependent Split VAE (TiDeSPL-VAE), a sequential LVM that decomposes visual neural activity into two latent representations while considering time dependence. We specify content latent representations corresponding to the component of neural activity driven by the current visual stimulus, and style latent representations corresponding to the neural dynamics influenced by the organism's internal state. To progressively generate the two latent representations over time, we introduce state factors to construct conditional distributions with time dependence and apply self-supervised contrastive learning to shape them. By this means, TiDeSPL-VAE can effectively analyze complex visual neural activity and model temporal relationships in a natural way. We compare our model with alternative approaches on synthetic data and neural data from the mouse visual cortex. The results show that our model not only yields the best decoding performance on naturalistic scenes/movies but also extracts explicit neural dynamics, demonstrating that it builds latent representations more relevant to visual stimuli.
- Abstract(参考訳): 潜在変数モデル(LVM)を用いた高品質な表現を求めて、神経活動と行動または感覚刺激の本質的な相関を明らかにすることには、多くの関心が寄せられている。
ほとんどの研究は、明確な行動トレースを制御する運動神経活動の分析に重点を置いており、自然界に従わない方法で神経の時間的関係をモデル化している。
視覚脳領域の研究では、自然主義的な視覚刺激は高次元で時間依存的であり、神経活動は複雑なダイナミクスを示す。
このような状況に対処するため,時間依存型分割型VAE(TiDeSPL-VAE)を提案する。
我々は、現在の視覚刺激によって引き起こされる神経活動の成分に対応する内容潜時表現と、生物の内部状態に影響される神経力学に対応するスタイル潜時表現を規定する。
時間とともに2つの潜伏表現を段階的に生成するために、時間に依存する条件分布を構築するための状態因子を導入し、それらを形作るための自己教師付きコントラスト学習を適用する。
これにより、TiDeSPL-VAEは複雑な視覚神経活動を効果的に分析し、自然な方法で時間的関係をモデル化することができる。
我々は,マウス視覚野の合成データと神経データに対する代替手法との比較を行った。
その結果,本モデルは自然主義的なシーン/ムーブメントにおいて最高のデコード性能を得るだけでなく,視覚刺激に関連性のある潜在表現を構築できることが示される。
関連論文リスト
- Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。
本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。
本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
論文 参考訳(メタデータ) (2024-04-22T09:40:07Z) - On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。
我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
論文 参考訳(メタデータ) (2023-07-28T13:22:32Z) - Temporal Conditioning Spiking Latent Variable Models of the Neural
Response to Natural Visual Scenes [29.592870472342337]
本研究は, 時間条件付潜時変動モデル(TeCoS-LVM)を提示し, 自然視覚刺激に対する神経応答をシミュレートする。
スパイクニューロンを使用して、記録された列車と直接一致するスパイク出力を生成します。
我々は,TeCoS-LVMモデルにより,よりリアルなスパイク活動が生成され,強力な代替手段よりも正確なスパイク統計に適合することを示す。
論文 参考訳(メタデータ) (2023-06-21T06:30:18Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳(メタデータ) (2023-06-14T13:34:13Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - STNDT: Modeling Neural Population Activity with a Spatiotemporal
Transformer [19.329190789275565]
我々は、個々のニューロンの応答を明示的にモデル化するNDTベースのアーキテクチャであるSpatioTemporal Neural Data Transformer (STNDT)を紹介する。
本モデルは,4つのニューラルデータセット間での神経活動の推定において,アンサンブルレベルでの最先端性能を実現することを示す。
論文 参考訳(メタデータ) (2022-06-09T18:54:23Z) - Learnable latent embeddings for joint behavioral and neural analysis [3.6062449190184136]
CEBRAは、空間のマッピング、複雑なキネマティックな特徴の発見、視覚野からの自然映画の高速かつ高精度な復号化に利用できることを示す。
我々は、その精度を検証し、カルシウムと電気生理学の両方のデータセット、感覚と運動のタスク、そして種全体にわたる単純または複雑な振る舞いにその有用性を実証する。
論文 参考訳(メタデータ) (2022-04-01T19:19:33Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳(メタデータ) (2021-11-29T15:27:51Z) - Drop, Swap, and Generate: A Self-Supervised Approach for Generating
Neural Activity [33.06823702945747]
我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。
このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。
我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
論文 参考訳(メタデータ) (2021-11-03T16:39:43Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z) - Learning identifiable and interpretable latent models of
high-dimensional neural activity using pi-VAE [10.529943544385585]
本稿では,潜在モデルと従来のニューラルエンコーディングモデルから重要な要素を統合する手法を提案する。
我々の手法であるpi-VAEは、同定可能な変分自動エンコーダの最近の進歩にインスパイアされている。
人工データを用いてpi-VAEを検証し,それをラット海馬およびマカク運動野の神経生理学的データセットの解析に応用した。
論文 参考訳(メタデータ) (2020-11-09T22:00:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。