論文の概要: Seeing the forest and the tree: Building representations of both
individual and collective dynamics with transformers
- arxiv url: http://arxiv.org/abs/2206.06131v1
- Date: Fri, 10 Jun 2022 07:14:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-19 17:27:59.600182
- Title: Seeing the forest and the tree: Building representations of both
individual and collective dynamics with transformers
- Title（参考訳）: 森林と木を見る:変圧器を用いた個人的・集団的ダイナミクスの表現
- Authors: Ran Liu, Mehdi Azabou, Max Dabagia, Jingyun Xiao, Eva L. Dyer
- Abstract要約: 時間変化データから学習するトランスフォーマーアーキテクチャを提案する。
本モデルは,多体システムにおける複雑な相互作用や力学の回復に有効であることを示す。
実験の結果, ある動物の脳のニューロンから学習し, 異なる動物の脳のニューロンにモデルを移すことが可能であることが確認された。
- 参考スコア（独自算出の注目度）: 6.543007700542191
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Complex time-varying systems are often studied by abstracting away from the
dynamics of individual components to build a model of the population-level
dynamics from the start. However, when building a population-level description,
it can be easy to lose sight of each individual and how each contributes to the
larger picture. In this paper, we present a novel transformer architecture for
learning from time-varying data that builds descriptions of both the individual
as well as the collective population dynamics. Rather than combining all of our
data into our model at the onset, we develop a separable architecture that
operates on individual time-series first before passing them forward; this
induces a permutation-invariance property and can be used to transfer across
systems of different size and order. After demonstrating that our model can be
applied to successfully recover complex interactions and dynamics in many-body
systems, we apply our approach to populations of neurons in the nervous system.
On neural activity datasets, we show that our multi-scale transformer not only
yields robust decoding performance, but also provides impressive performance in
transfer. Our results show that it is possible to learn from neurons in one
animal's brain and transfer the model on neurons in a different animal's brain,
with interpretable neuron correspondence across sets and animals. This finding
opens up a new path to decode from and represent large collections of neurons.
- Abstract（参考訳）: 複雑な時変システムは、最初から個体群レベルのダイナミクスのモデルを構築するために個々の構成要素のダイナミクスから抽象化することでしばしば研究される。
しかしながら、人口レベルの記述を構築する場合、個々の個人と、それぞれが全体像にどのように寄与するかを見失うことは容易である。
本稿では,時間変化データから学習するための新しいトランスフォーマーアーキテクチャを提案する。
すべてのデータを最初からモデルに結合するのではなく、まず個々の時系列で動作し、それを前方に渡す前に分離可能なアーキテクチャを開発します。
我々のモデルが多体系における複雑な相互作用とダイナミクスを正常に回復するために応用できることを実証した後、神経系のニューロン集団にアプローチを適用した。
ニューラルアクティビティデータセットでは,マルチスケールトランスフォーマはロバストな復号性能をもたらすだけでなく,転送時の印象的なパフォーマンスも実現している。
実験の結果, ある動物の脳のニューロンから学習し, 異なる動物の脳のニューロンにモデルを伝達することは, 集合や動物間で解釈可能なニューロンの対応によって可能であることがわかった。
この発見は、神経細胞の大規模な集合からデコードし表現する新しい経路を開く。
関連論文リスト
- SynapsNet: Enhancing Neuronal Population Dynamics Modeling via Learning Functional Connectivity [0.0]
我々は、ニューロン間の機能的相互作用と人口動態を効果的にモデル化する新しいディープラーニングフレームワーク、SynapsNetを紹介した。
共有デコーダは、入力電流、以前の神経活動、ニューロンの埋め込み、行動データを用いて、次のステップで集団活動を予測する。
以上の結果から,SynapsNetの個体群活動予測モデルでは,マウスの皮質活動が従来モデルより常に優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-11-12T22:25:15Z) - Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。
視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。
我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
論文 参考訳（メタデータ） (2023-10-31T20:17:32Z) - A Unified, Scalable Framework for Neural Population Decoding [12.052847252465826]
神経活動の集団動態をモデル化するためのトレーニングフレームワークとアーキテクチャを導入する。
我々は,ヒト以外の霊長類7種の大規模データセットに基づいて訓練された大規模マルチセッションモデルを構築した。
論文 参考訳（メタデータ） (2023-10-24T17:58:26Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳（メタデータ） (2022-01-19T09:26:34Z) - Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。
本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。
ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
論文 参考訳（メタデータ） (2021-12-02T12:45:46Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳（メタデータ） (2021-11-29T15:27:51Z) - Drop, Swap, and Generate: A Self-Supervised Approach for Generating
Neural Activity [33.06823702945747]
我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。
このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。
我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
論文 参考訳（メタデータ） (2021-11-03T16:39:43Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - Brain-inspired self-organization with cellular neuromorphic computing
for multimodal unsupervised learning [0.0]
本稿では,自己組織マップとヘビアン様学習を用いた再突入理論に基づく脳刺激型ニューラルシステムを提案する。
システムトポロジがユーザによって固定されるのではなく,自己組織化によって学習されるような,いわゆるハードウェアの可塑性の獲得について述べる。
論文 参考訳（メタデータ） (2020-04-11T21:02:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。