論文の概要: NeuroLM: A Universal Multi-task Foundation Model for Bridging the Gap between Language and EEG Signals
- arxiv url: http://arxiv.org/abs/2409.00101v1
- Date: Tue, 27 Aug 2024 12:07:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-08 15:11:32.905120
- Title: NeuroLM: A Universal Multi-task Foundation Model for Bridging the Gap between Language and EEG Signals
- Title（参考訳）: NeuroLM:言語と脳波のギャップを埋めるためのユニバーサルマルチタスク基礎モデル
- Authors: Wei-Bang Jiang, Yansen Wang, Bao-Liang Lu, Dongsheng Li,
- Abstract要約: 我々は,脳波を外国語として扱うことで,Large Language Models (LLMs) の機能を活用する,最初のマルチタスク基盤モデルであるNeuroLMを提案する。
我々のアプローチは、脳波信号を離散的な神経トークンにエンコードするベクトル量子化された時間周波数予測を通じて、テキスト整列型ニューラルトークンを学習することから始まります。
我々は、LLMを具体化することによって、NeuroLMは命令チューニングによって単一のモデル内で多様な脳波タスクを統合できることを初めて実証した。
- 参考スコア（独自算出の注目度）: 21.363722751437066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements for large-scale pre-training with neural signals such as electroencephalogram (EEG) have shown promising results, significantly boosting the development of brain-computer interfaces (BCIs) and healthcare. However, these pre-trained models often require full fine-tuning on each downstream task to achieve substantial improvements, limiting their versatility and usability, and leading to considerable resource wastage. To tackle these challenges, we propose NeuroLM, the first multi-task foundation model that leverages the capabilities of Large Language Models (LLMs) by regarding EEG signals as a foreign language, endowing the model with multi-task learning and inference capabilities. Our approach begins with learning a text-aligned neural tokenizer through vector-quantized temporal-frequency prediction, which encodes EEG signals into discrete neural tokens. These EEG tokens, generated by the frozen vector-quantized (VQ) encoder, are then fed into an LLM that learns causal EEG information via multi-channel autoregression. Consequently, NeuroLM can understand both EEG and language modalities. Finally, multi-task instruction tuning adapts NeuroLM to various downstream tasks. We are the first to demonstrate that, by specific incorporation with LLMs, NeuroLM unifies diverse EEG tasks within a single model through instruction tuning. The largest variant NeuroLM-XL has record-breaking 1.7B parameters for EEG signal processing, and is pre-trained on a large-scale corpus comprising approximately 25,000-hour EEG data. When evaluated on six diverse downstream datasets, NeuroLM showcases the huge potential of this multi-task learning paradigm.
- Abstract（参考訳）: 脳波(EEG)などの神経信号による大規模事前トレーニングの進歩は、脳-コンピュータインターフェース(BCI)と医療の発展を著しく促進する有望な結果を示している。
しかしながら、これらの事前訓練されたモデルは、大幅な改善を達成し、その汎用性とユーザビリティを制限し、かなりのリソース浪費をもたらすために、各下流タスクの完全な微調整を必要とすることが多い。
これらの課題に対処するため,我々は,多タスク学習能力と推論能力を備えたモデルを実現するため,脳波信号を外国語として扱うことで,LLM(Large Language Models)の機能を活用する最初のマルチタスク基盤モデルであるNeuroLMを提案する。
我々のアプローチは、脳波信号を離散的な神経トークンにエンコードするベクトル量子化された時間周波数予測を通じて、テキスト整列型ニューラルトークンを学習することから始まります。
これらのEEGトークンは、凍結ベクトル量子化(VQ)エンコーダによって生成され、LLMに入力され、マルチチャネルオートレグレスを介して因果EEG情報を学ぶ。
その結果、NeuroLMは脳波と言語モダリティの両方を理解することができる。
最後に、マルチタスク命令チューニングは、NeuroLMを様々な下流タスクに適応させる。
我々は、LLMを具体化することによって、NeuroLMは命令チューニングによって単一のモデル内で多様な脳波タスクを統合できることを初めて実証した。
最大の変種であるNeuroLM-XLは、EEG信号処理のための1.7Bパラメータを記録破りにしており、約25,000時間のEEGデータからなる大規模コーパスで事前訓練されている。
下流の6つのデータセットで評価すると、NeuroLMはこのマルチタスク学習パラダイムの巨大な可能性を示す。
関連論文リスト
- Interpretable Language Modeling via Induction-head Ngram Models [74.26720927767398]
誘導ヘッドngramモデル(Induction-Gram)を提案する。
この誘導ヘッドは、カスタムのニューラル類似度メトリックを使用して、モデルの入力コンテキストを効率的に検索し、潜在的に次の単語補完を行う。
実験により,本手法はベースラインの解釈可能なモデルよりも,単語の次単語予測を大幅に改善することが示された。
論文 参考訳（メタデータ） (2024-10-31T12:33:26Z) - EEGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training [9.57946371147345]
EEGPTはこれらの課題に対処するために設計された最初の一般のEEG基盤モデルである。
まず,各電極を基本単位として扱う電極ワイド・モデリング手法を提案する。
第2に、最初の自己回帰型脳波事前学習モデルを開発する。
第3に,学習可能な電極グラフネットワークを用いたマルチタスク転送学習パラダイムを提案する。
論文 参考訳（メタデータ） (2024-10-14T12:17:54Z) - CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。
そこで本研究では,学習バランスを定量的に評価する尺度を提案する。
さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
論文 参考訳（メタデータ） (2024-07-29T23:18:55Z) - Towards an End-to-End Framework for Invasive Brain Signal Decoding with Large Language Models [24.54139799413152]
侵襲的な脳信号の復号化を目的とした,画期的なエンドツーエンド(E2E)フレームワークを提案する。
音声神経補綴術におけるE2Eフレームワークの可能性について検討した。
論文 参考訳（メタデータ） (2024-06-17T14:04:18Z) - Large Brain Model for Learning Generic Representations with Tremendous EEG Data in BCI [6.926908480247951]
大型脳モデル(LaBraM)と呼ばれる脳波の統一基盤モデルを提案する。
LaBraMは、EEG信号をEEGチャネルパッチにセグメント化することで、データセット間の学習を可能にする。
次に、マスクされたEEGチャネルパッチの元のニューラルコードを予測することにより、ニューラルトランスフォーマーを事前訓練する。
論文 参考訳（メタデータ） (2024-05-29T05:08:16Z) - In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。
我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文 参考訳（メタデータ） (2024-01-23T18:59:21Z) - Predicting Infant Brain Connectivity with Federated Multi-Trajectory
GNNs using Scarce Data [54.55126643084341]
既存のディープラーニングソリューションには,3つの大きな制限がある。
我々はフェデレートグラフベースの多軌道進化ネットワークであるFedGmTE-Net++を紹介する。
フェデレーションの力を利用して、限られたデータセットを持つ多種多様な病院の地域学習を集約する。
論文 参考訳（メタデータ） (2024-01-01T10:20:01Z) - A Knowledge-Driven Cross-view Contrastive Learning for EEG
Representation [48.85731427874065]
本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。
KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。
ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
論文 参考訳（メタデータ） (2023-09-21T08:53:51Z) - DriPP: Driven Point Processes to Model Stimuli Induced Patterns in M/EEG
Signals [62.997667081978825]
我々はDriPPと呼ばれる新しい統計点過程モデルを開発する。
我々は、このモデルのパラメータを推定するために、高速で原理化された予測最大化(EM)アルゴリズムを導出する。
標準MEGデータセットの結果から,我々の手法が事象関連ニューラルレスポンスを明らかにすることが示された。
論文 参考訳（メタデータ） (2021-12-08T13:07:21Z) - Decoding EEG Brain Activity for Multi-Modal Natural Language Processing [9.35961671939495]
自然言語処理タスクを改善するために脳波脳活動データの可能性を体系的に分析する最初の大規模研究を行った。
脳波信号を周波数帯域にフィルタリングすることはブロードバンド信号よりも有益であることがわかった。
単語埋め込みタイプの範囲のために、EEGデータは二分および三分感情の分類を改善し、複数のベースラインを上回ります。
論文 参考訳（メタデータ） (2021-02-17T09:44:21Z) - Human brain activity for machine attention [8.673635963837532]
我々は脳波(EEG)という神経科学データを初めて活用し、人間の脳の言語処理について神経の注意モデルに知らせる。
我々は、理論上動機付けられた収穫と無作為な森林分枝を組み合わせることで、機械の注意を監督する脳波の特徴を見つける手法を考案した。
これらの特徴を関係分類の注意を規則化するために応用し、脳波が強い基準線よりも情報的であることを示す。
論文 参考訳（メタデータ） (2020-06-09T08:39:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。