論文の概要: NeuroBind: Towards Unified Multimodal Representations for Neural Signals
- arxiv url: http://arxiv.org/abs/2407.14020v1
- Date: Fri, 19 Jul 2024 04:42:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 18:53:17.661210
- Title: NeuroBind: Towards Unified Multimodal Representations for Neural Signals
- Title（参考訳）: NeuroBind: ニューラルネットワークのための統一型マルチモーダル表現を目指して
- Authors: Fengyu Yang, Chao Feng, Daniel Wang, Tianye Wang, Ziyao Zeng, Zhiyang Xu, Hyoungseob Park, Pengliang Ji, Hanbin Zhao, Yuanning Li, Alex Wong,
- Abstract要約: 脳波、fMRI、カルシウムイメージング、スパイキングデータを含む複数の脳信号タイプを統一する表現であるNeuroBindを提案する。
このアプローチは、神経科学研究の進展、AIシステムの改善、神経補綴学と脳-コンピュータインターフェースの開発において大きな可能性を秘めている。
- 参考スコア（独自算出の注目度）: 20.02503060795981
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding neural activity and information representation is crucial for advancing knowledge of brain function and cognition. Neural activity, measured through techniques like electrophysiology and neuroimaging, reflects various aspects of information processing. Recent advances in deep neural networks offer new approaches to analyzing these signals using pre-trained models. However, challenges arise due to discrepancies between different neural signal modalities and the limited scale of high-quality neural data. To address these challenges, we present NeuroBind, a general representation that unifies multiple brain signal types, including EEG, fMRI, calcium imaging, and spiking data. To achieve this, we align neural signals in these image-paired neural datasets to pre-trained vision-language embeddings. Neurobind is the first model that studies different neural modalities interconnectedly and is able to leverage high-resource modality models for various neuroscience tasks. We also showed that by combining information from different neural signal modalities, NeuroBind enhances downstream performance, demonstrating the effectiveness of the complementary strengths of different neural modalities. As a result, we can leverage multiple types of neural signals mapped to the same space to improve downstream tasks, and demonstrate the complementary strengths of different neural modalities. This approach holds significant potential for advancing neuroscience research, improving AI systems, and developing neuroprosthetics and brain-computer interfaces.
- Abstract（参考訳）: 神経活動と情報表現を理解することは、脳機能や認知に関する知識の進歩に不可欠である。
神経活動は電気生理学や神経イメージングなどの技術によって測定され、情報処理の様々な側面を反映している。
ディープニューラルネットワークの最近の進歩は、事前訓練されたモデルを用いてこれらの信号を解析するための新しいアプローチを提供する。
しかし、異なるニューラル信号の変調と、高品質なニューラルデータの限られたスケールとの相違により、課題が生じる。
これらの課題に対処するために、脳波、fMRI、カルシウムイメージング、スパイキングデータを含む複数の脳信号タイプを統一する一般的な表現であるNeuroBindを提案する。
これを実現するために、これらの画像ペアリングされたニューラルデータセット内のニューラル信号と、事前学習された視覚言語埋め込みとをアライメントする。
ニューロビンドは、異なるニューロモーダルを相互に相互に研究する最初のモデルであり、様々なニューロサイエンスタスクに高リソースのモーダルモデルを利用することができる。
また,ニューロバイドは,異なるニューラルシグナルモーダルの情報を組み合わせることで,下流のパフォーマンスを高め,異なるニューラル信号モーダルの相補的強度の有効性を示した。
その結果、同一空間にマッピングされた複数のニューラル信号を利用して、下流のタスクを改善し、異なるニューラルモーダルの相補的な強みを示すことができる。
このアプローチは、神経科学研究の進展、AIシステムの改善、神経補綴学と脳-コンピュータインターフェースの開発において大きな可能性を秘めている。
関連論文リスト
- Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - BrainODE: Dynamic Brain Signal Analysis via Graph-Aided Neural Ordinary Differential Equations [67.79256149583108]
本稿では,脳波を連続的にモデル化するBrainODEというモデルを提案する。
遅延初期値とニューラルODE関数を不規則な時系列から学習することにより、BrainODEは任意の時点の脳信号を効果的に再構築する。
論文 参考訳（メタデータ） (2024-04-30T10:53:30Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Learn to integrate parts for whole through correlated neural variability [8.173681663544757]
感覚知覚は感覚ニューロンの反応に起因し、特定の知覚物体の物理的特性に関連付けられた知覚信号の集まりに反応する。
これらの神経反応から脳がどのように知覚情報を抽出するかを明らかにすることは、計算神経科学と機械学習の両方において重要な課題である。
本稿では,知覚情報を知覚ニューロンの相関変数に符号化し,下流ニューロンの発火速度に変換する統計力学理論を提案する。
論文 参考訳（メタデータ） (2024-01-01T13:05:29Z) - Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。
視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。
我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
論文 参考訳（メタデータ） (2023-10-31T20:17:32Z) - Learning to Act through Evolution of Neural Diversity in Random Neural
Networks [9.387749254963595]
ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。
本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
論文 参考訳（メタデータ） (2023-05-25T11:33:04Z) - Towards NeuroAI: Introducing Neuronal Diversity into Artificial Neural
Networks [20.99799416963467]
ヒトの脳では、神経の多様性はあらゆる生物学的知的行動に有効である。
本稿では,まず,生物ニューロンの多様性と情報伝達・処理の特徴について論じる。
論文 参考訳（メタデータ） (2023-01-23T02:23:45Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳（メタデータ） (2022-01-19T09:26:34Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳（メタデータ） (2021-11-29T15:27:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。