論文の概要: BLEND: Behavior-guided Neural Population Dynamics Modeling via Privileged Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2410.13872v1
• Date: Wed, 02 Oct 2024 12:45:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-27 06:14:49.121145
• Title: BLEND: Behavior-guided Neural Population Dynamics Modeling via Privileged Knowledge Distillation
• Title（参考訳）: BLEND:原始的知識蒸留による行動誘導型ニューラルポピュレーションダイナミクスモデリング
• Authors: Zhengrui Guo, Fangxu Zhou, Wei Wu, Qichen Sun, Lishuang Feng, Jinzhuo Wang, Hao Chen,
• Abstract要約: 本稿では,特権的知識蒸留による行動誘導型ニューラル人口動態モデリングフレームワークBLENDを提案する。 特権情報として行動を考えることにより、行動観察(私的特徴)と神経活動(正規特徴)の両方を入力として扱う教師モデルを訓練する。 学生モデルは神経活動のみを用いて蒸留される。
• 参考スコア（独自算出の注目度）: 6.3559178227943764
• License:
• Abstract: Modeling the nonlinear dynamics of neuronal populations represents a key pursuit in computational neuroscience. Recent research has increasingly focused on jointly modeling neural activity and behavior to unravel their interconnections. Despite significant efforts, these approaches often necessitate either intricate model designs or oversimplified assumptions. Given the frequent absence of perfectly paired neural-behavioral datasets in real-world scenarios when deploying these models, a critical yet understudied research question emerges: how to develop a model that performs well using only neural activity as input at inference, while benefiting from the insights gained from behavioral signals during training? To this end, we propose BLEND, the behavior-guided neural population dynamics modeling framework via privileged knowledge distillation. By considering behavior as privileged information, we train a teacher model that takes both behavior observations (privileged features) and neural activities (regular features) as inputs. A student model is then distilled using only neural activity. Unlike existing methods, our framework is model-agnostic and avoids making strong assumptions about the relationship between behavior and neural activity. This allows BLEND to enhance existing neural dynamics modeling architectures without developing specialized models from scratch. Extensive experiments across neural population activity modeling and transcriptomic neuron identity prediction tasks demonstrate strong capabilities of BLEND, reporting over 50% improvement in behavioral decoding and over 15% improvement in transcriptomic neuron identity prediction after behavior-guided distillation. Furthermore, we empirically explore various behavior-guided distillation strategies within the BLEND framework and present a comprehensive analysis of effectiveness and implications for model performance.
• Abstract（参考訳）: 神経集団の非線形力学をモデル化することは、計算神経科学における重要な追求である。 最近の研究は、相互接続を解き明かすために、神経活動と行動を共同でモデル化することに集中している。 大きな努力にもかかわらず、これらのアプローチは複雑なモデル設計または過度に単純化された仮定を必要とすることが多い。 これらのモデルをデプロイする際の現実のシナリオにおいて、完全なペアのニューラル・ビヘイビアデータセットが欠如していることを考えると、重要な研究課題は、推論時の入力として神経活動のみを使用して、トレーニング中の行動信号から得られる洞察を享受しながら、適切に機能するモデルを開発する方法である。 この目的のために,特権的知識蒸留による行動誘導型ニューラル人口動態モデリングフレームワークBLENDを提案する。 特権情報として行動を考えることにより、行動観察(私的特徴)と神経活動(正規特徴)の両方を入力として扱う教師モデルを訓練する。 学生モデルは神経活動のみを用いて蒸留される。 既存の手法とは異なり、我々のフレームワークはモデルに依存しず、行動と神経活動の関係について強い仮定をしない。 これによりBLENDは、スクラッチから特別なモデルを開発することなく、既存のニューラルダイナミクスモデリングアーキテクチャを拡張できる。 神経集団活動モデルと転写ニューロン識別予測タスクの広範な実験は、BLENDの強力な能力を示し、行動復号化の50%以上の改善と、行動誘導蒸留後の転写ニューロン識別予測の15%以上の改善を報告している。 さらに, BLENDフレームワーク内での種々の挙動誘導蒸留戦略を実証的に検討し, モデル性能に対する効果と影響を包括的に分析した。

関連論文リスト

• Modeling dynamic neural activity by combining naturalistic video stimuli and stimulus-independent latent factors [5.967290675400836]
  本稿では,刺激非依存の潜伏因子とともに映像入力を組み込んだ確率論的モデルを提案する。 マウスV1ニューロン反応のトレーニングとテストを行った結果、ビデオのみのモデルよりもログライクな結果が得られた。 その結果,学習した潜伏因子はマウスの行動と強く相関していることがわかった。
  論文  参考訳（メタデータ） (2024-10-21T16:01:39Z)
• Neural Dynamics Model of Visual Decision-Making: Learning from Human Experts [28.340344705437758]
  視覚入力から行動出力まで,包括的な視覚的意思決定モデルを実装した。 我々のモデルは人間の行動と密接に一致し、霊長類の神経活動を反映する。 ニューロイメージング・インフォームド・ファインチューニング手法を導入し、モデルに適用し、性能改善を実現した。
  論文  参考訳（メタデータ） (2024-09-04T02:38:52Z)
• Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
  最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。 視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。 我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
  論文  参考訳（メタデータ） (2023-10-31T20:17:32Z)
• STNDT: Modeling Neural Population Activity with a Spatiotemporal Transformer [19.329190789275565]
  我々は、個々のニューロンの応答を明示的にモデル化するNDTベースのアーキテクチャであるSpatioTemporal Neural Data Transformer (STNDT)を紹介する。 本モデルは,4つのニューラルデータセット間での神経活動の推定において,アンサンブルレベルでの最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-06-09T18:54:23Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• On the Evolution of Neuron Communities in a Deep Learning Architecture [0.7106986689736827]
  本稿では,ディープラーニングに基づく分類モデルのニューロン活性化パターンについて検討する。 コミュニティの品質(モジュラリティ)とエントロピーの両方が、ディープラーニングモデルのパフォーマンスと密接に関連していることを示す。
  論文  参考訳（メタデータ） (2021-06-08T21:09:55Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。