論文の概要: Time-Dependent VAE for Building Latent Representations from Visual Neural Activity with Complex Dynamics
- arxiv url: http://arxiv.org/abs/2408.07908v2
- Date: Wed, 2 Oct 2024 16:26:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 07:40:14.479503
- Title: Time-Dependent VAE for Building Latent Representations from Visual Neural Activity with Complex Dynamics
- Title（参考訳）: 複雑ダイナミクスを用いた視覚神経活動からの潜時表現構築のための時間依存型VAE
- Authors: Liwei Huang, ZhengYu Ma, Liutao Yu, Huihui Zhou, Yonghong Tian,
- Abstract要約: TiDeSPL-VAEは複雑な視覚神経活動を効果的に分析し、自然な方法で時間的関係をモデル化することができる。
結果から,本モデルは自然主義的なシーン/ムーブメントにおいて最高の復号性能を得るだけでなく,明示的なニューラルダイナミクスを抽出することがわかった。
- 参考スコア（独自算出の注目度）: 25.454851828755054
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Seeking high-quality representations with latent variable models (LVMs) to reveal the intrinsic correlation between neural activity and behavior or sensory stimuli has attracted much interest. Most work has focused on analyzing motor neural activity that controls clear behavioral traces and has modeled neural temporal relationships in a way that does not conform to natural reality. For studies of visual brain regions, naturalistic visual stimuli are high-dimensional and time-dependent, making neural activity exhibit intricate dynamics. To cope with such conditions, we propose Time-Dependent Split VAE (TiDeSPL-VAE), a sequential LVM that decomposes visual neural activity into two latent representations while considering time dependence. We specify content latent representations corresponding to the component of neural activity driven by the current visual stimulus, and style latent representations corresponding to the neural dynamics influenced by the organism's internal state. To progressively generate the two latent representations over time, we introduce state factors to construct conditional distributions with time dependence and apply self-supervised contrastive learning to shape them. By this means, TiDeSPL-VAE can effectively analyze complex visual neural activity and model temporal relationships in a natural way. We compare our model with alternative approaches on synthetic data and neural data from the mouse visual cortex. The results show that our model not only yields the best decoding performance on naturalistic scenes/movies but also extracts explicit neural dynamics, demonstrating that it builds latent representations more relevant to visual stimuli.
- Abstract（参考訳）: 潜在変数モデル(LVM)を用いた高品質な表現を求めて、神経活動と行動または感覚刺激の本質的な相関を明らかにすることには、多くの関心が寄せられている。
ほとんどの研究は、明確な行動トレースを制御する運動神経活動の分析に重点を置いており、自然界に従わない方法で神経の時間的関係をモデル化している。
視覚脳領域の研究では、自然主義的な視覚刺激は高次元で時間依存的であり、神経活動は複雑なダイナミクスを示す。
このような状況に対処するため,時間依存型分割型VAE(TiDeSPL-VAE)を提案する。
我々は、現在の視覚刺激によって引き起こされる神経活動の成分に対応する内容潜時表現と、生物の内部状態に影響される神経力学に対応するスタイル潜時表現を規定する。
時間とともに2つの潜伏表現を段階的に生成するために、時間に依存する条件分布を構築するための状態因子を導入し、それらを形作るための自己教師付きコントラスト学習を適用する。
これにより、TiDeSPL-VAEは複雑な視覚神経活動を効果的に分析し、自然な方法で時間的関係をモデル化することができる。
我々は,マウス視覚野の合成データと神経データに対する代替手法との比較を行った。
その結果,本モデルは自然主義的なシーン/ムーブメントにおいて最高のデコード性能を得るだけでなく,視覚刺激に関連性のある潜在表現を構築できることが示される。
関連論文リスト
- Modeling dynamic neural activity by combining naturalistic video stimuli and stimulus-independent latent factors [5.967290675400836]
本稿では,刺激非依存の潜伏因子とともに映像入力を組み込んだ確率論的モデルを提案する。
マウスV1ニューロン反応のトレーニングとテストを行った結果、ビデオのみのモデルよりもログライクな結果が得られた。
その結果,学習した潜伏因子はマウスの行動と強く相関していることがわかった。
論文 参考訳（メタデータ） (2024-10-21T16:01:39Z) - Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。
このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。
これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
論文 参考訳（メタデータ） (2024-10-17T17:47:54Z) - Neural Dynamics Model of Visual Decision-Making: Learning from Human Experts [28.340344705437758]
視覚入力から行動出力まで,包括的な視覚的意思決定モデルを実装した。
我々のモデルは人間の行動と密接に一致し、霊長類の神経活動を反映する。
ニューロイメージング・インフォームド・ファインチューニング手法を導入し、モデルに適用し、性能改善を実現した。
論文 参考訳（メタデータ） (2024-09-04T02:38:52Z) - Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。
次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。
このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
論文 参考訳（メタデータ） (2024-05-21T20:37:07Z) - On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。
我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
論文 参考訳（メタデータ） (2023-07-28T13:22:32Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - Long-Range Feedback Spiking Network Captures Dynamic and Static Representations of the Visual Cortex under Movie Stimuli [25.454851828755054]
視覚野が、文脈に富む情報を含む自然の映画刺激をどのように表現するかについては、限られた知見がある。
本研究では、大脳皮質領域間のトップダウン接続を模倣した長距離フィードバックスパイクネットワーク(LoRaFB-SNet)を提案する。
本稿では,マウスのモデル表現と視覚皮質表現の類似性を測定するために,時系列表現類似性分析(TSRSA)を提案する。
論文 参考訳（メタデータ） (2023-06-02T08:25:58Z) - STNDT: Modeling Neural Population Activity with a Spatiotemporal
Transformer [19.329190789275565]
我々は、個々のニューロンの応答を明示的にモデル化するNDTベースのアーキテクチャであるSpatioTemporal Neural Data Transformer (STNDT)を紹介する。
本モデルは,4つのニューラルデータセット間での神経活動の推定において,アンサンブルレベルでの最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2022-06-09T18:54:23Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳（メタデータ） (2021-11-29T15:27:51Z) - Drop, Swap, and Generate: A Self-Supervised Approach for Generating
Neural Activity [33.06823702945747]
我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。
このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。
我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
論文 参考訳（メタデータ） (2021-11-03T16:39:43Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳（メタデータ） (2021-04-22T04:01:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。