論文の概要: Large Brain Model for Learning Generic Representations with Tremendous EEG Data in BCI

• arxiv url: http://arxiv.org/abs/2405.18765v1
• Date: Wed, 29 May 2024 05:08:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 18:48:25.168383
• Title: Large Brain Model for Learning Generic Representations with Tremendous EEG Data in BCI
• Title（参考訳）: BCIにおける脳波データを用いたジェネリック表現学習のための大脳モデル
• Authors: Wei-Bang Jiang, Li-Ming Zhao, Bao-Liang Lu,
• Abstract要約: 大型脳モデル(LaBraM)と呼ばれる脳波の統一基盤モデルを提案する。 LaBraMは、EEG信号をEEGチャネルパッチにセグメント化することで、データセット間の学習を可能にする。 次に、マスクされたEEGチャネルパッチの元のニューラルコードを予測することにより、ニューラルトランスフォーマーを事前訓練する。
• 参考スコア（独自算出の注目度）: 6.926908480247951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The current electroencephalogram (EEG) based deep learning models are typically designed for specific datasets and applications in brain-computer interaction (BCI), limiting the scale of the models and thus diminishing their perceptual capabilities and generalizability. Recently, Large Language Models (LLMs) have achieved unprecedented success in text processing, prompting us to explore the capabilities of Large EEG Models (LEMs). We hope that LEMs can break through the limitations of different task types of EEG datasets, and obtain universal perceptual capabilities of EEG signals through unsupervised pre-training. Then the models can be fine-tuned for different downstream tasks. However, compared to text data, the volume of EEG datasets is generally small and the format varies widely. For example, there can be mismatched numbers of electrodes, unequal length data samples, varied task designs, and low signal-to-noise ratio. To overcome these challenges, we propose a unified foundation model for EEG called Large Brain Model (LaBraM). LaBraM enables cross-dataset learning by segmenting the EEG signals into EEG channel patches. Vector-quantized neural spectrum prediction is used to train a semantically rich neural tokenizer that encodes continuous raw EEG channel patches into compact neural codes. We then pre-train neural Transformers by predicting the original neural codes for the masked EEG channel patches. The LaBraMs were pre-trained on about 2,500 hours of various types of EEG signals from around 20 datasets and validated on multiple different types of downstream tasks. Experiments on abnormal detection, event type classification, emotion recognition, and gait prediction show that our LaBraM outperforms all compared SOTA methods in their respective fields. Our code is available at https://github.com/935963004/LaBraM.
• Abstract（参考訳）: 現在の脳波に基づくディープラーニングモデルは、典型的には、脳-コンピュータ相互作用(BCI)における特定のデータセットや応用のために設計されており、モデルの規模を制限し、知覚能力と一般化性を低下させる。 近年,Large Language Models (LLMs) はテキスト処理において前例のない成功を収めており,Large EEG Models (LEMs) の機能を探究している。 我々は,LEMが脳波データセットの異なるタスクタイプの制限を突破し,教師なし事前学習を通じて脳波信号の普遍的知覚能力を得ることを期待している。 次に、モデルは異なる下流タスクのために微調整できる。 しかし、テキストデータと比較すると、EEGデータセットのボリュームは概して小さく、フォーマットは様々である。 例えば、電極のミスマッチ数、不等長データサンプル、様々なタスク設計、低信号対雑音比がある。 これらの課題を克服するため、我々はLarge Brain Model (LaBraM) と呼ばれる脳波の統一基盤モデルを提案する。 LaBraMは、EEG信号をEEGチャネルパッチにセグメント化することで、データセット間の学習を可能にする。 ベクトル量子化されたニューラルスペクトル予測は、連続的な生のEEGチャネルパッチをコンパクトなニューラルコードにエンコードするセマンティックにリッチなニューラルトークンを訓練するために使用される。 次に、マスクされたEEGチャネルパッチの元のニューラルコードを予測することにより、ニューラルトランスフォーマーを事前訓練する。 LaBraMは、約20のデータセットから約2500時間のさまざまなEEG信号で事前トレーニングされ、複数の異なる下流タスクで検証された。 異常検出,事象型分類,感情認識,歩行予測実験の結果,LaBraMはそれぞれの分野でSOTA法よりも優れていた。 私たちのコードはhttps://github.com/935963004/LaBraM.comで公開されています。

関連論文リスト

• hvEEGNet: exploiting hierarchical VAEs on EEG data for neuroscience applications [3.031375888004876]
  脳波の既存のDLベースのモデリング手法に2つの課題がある。 被験者間の高いばらつきと低信号対雑音比は、脳波データの良好な品質を確保するのを困難にしている。 本稿では,高忠実度脳波再構成問題を対象とした2つの変分オートエンコーダモデル,すなわちvEEGNet-ver3とhvEEGNetを提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:36:31Z)
• Large Transformers are Better EEG Learners [8.930281191465088]
  AdaCT - 時系列データを2次元の擬似画像やテキスト形式に変換するためのプラグアンドプレイアダプタ。 AdaCTIは、マルチチャネルまたは長さの単一チャネル時系列データを擬似画像に変換して、微調整された事前学習された視覚変換を行う。 AdaCT-Tは、短い単一チャネルデータをテキストに変換し、訓練済み言語変換器を微調整する。
  論文  参考訳（メタデータ） (2023-08-20T12:54:17Z)
• Convolutional Monge Mapping Normalization for learning on sleep data [63.22081662149488]
  我々は、CMMN(Convolutional Monge Mapping Normalization)と呼ばれる新しい手法を提案する。 CMMNは、そのパワースペクトル密度(PSD)をトレーニングデータに基づいて推定されるワッサーシュタインバリセンタに適応させるために、信号をフィルタリングする。 睡眠脳波データに関する数値実験により、CMMNはニューラルネットワークアーキテクチャから独立して、顕著で一貫したパフォーマンス向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-05-30T08:24:01Z)
• Task-oriented Self-supervised Learning for Anomaly Detection in Electroencephalography [51.45515911920534]
  タスク指向型自己教師型学習手法を提案する。 大きなカーネルを持つ特定の2つの分岐畳み込みニューラルネットワークを特徴抽出器として設計する。 効果的に設計され、訓練された特徴抽出器は、より優れた特徴表現を脳波から抽出できることが示されている。
  論文  参考訳（メタデータ） (2022-07-04T13:15:08Z)
• Decision Forest Based EMG Signal Classification with Low Volume Dataset Augmented with Random Variance Gaussian Noise [51.76329821186873]
  我々は6種類の手振りを限定的なサンプル数で分類できるモデルを作成し、より広い聴衆によく一般化する。 信号のランダムなバウンドの使用など、より基本的な手法のセットにアピールするが、これらの手法がオンライン環境で持てる力を示したいと考えている。
  論文  参考訳（メタデータ） (2022-06-29T23:22:18Z)
• EEG-ITNet: An Explainable Inception Temporal Convolutional Network for Motor Imagery Classification [0.5616884466478884]
  我々はEEG-ITNetと呼ばれるエンドツーエンドのディープラーニングアーキテクチャを提案する。 本モデルでは,多チャンネル脳波信号からスペクトル,空間,時間情報を抽出することができる。 EEG-ITNetは、異なるシナリオにおける分類精度を最大5.9%改善する。
  論文  参考訳（メタデータ） (2022-04-14T13:18:43Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Transformer-based Spatial-Temporal Feature Learning for EEG Decoding [4.8276709243429]
  本稿では,主に注意機構に依存する新しい脳波復号法を提案する。 我々はより少ないパラメータで、脳波の多分類化における最先端のレベルに達しました。 脳-コンピュータインタフェース(BCI)の実用性を促進する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2021-06-11T00:48:18Z)
• BENDR: using transformers and a contrastive self-supervised learning task to learn from massive amounts of EEG data [15.71234837305808]
  言語モデリング(LM)の手法とアーキテクチャを脳波モデリング(EM)に適用する方法を検討する。 1つの事前学習モデルが、異なるハードウェアで記録された全く新しい生の脳波シーケンスをモデル化できることがわかった。 このモデルの内部表現とアーキテクチャ全体は、さまざまな下流のBCIおよびEEG分類タスクに微調整することができる。
  論文  参考訳（メタデータ） (2021-01-28T14:54:01Z)
• A Novel Transferability Attention Neural Network Model for EEG Emotion Recognition [51.203579838210885]
  脳波感情認識のための伝達型注目ニューラルネットワーク(TANN)を提案する。 TANNは、伝達可能な脳波領域のデータとサンプルを適応的に強調することにより、感情的な識別情報を学習する。 これは、複数の脳領域レベル判別器と1つのサンプルレベル判別器の出力を測定することで実現できる。
  論文  参考訳（メタデータ） (2020-09-21T02:42:30Z)
• Uncovering the structure of clinical EEG signals with self-supervised learning [64.4754948595556]
  教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。 この現象は脳波(EEG)などの臨床関連データに特に問題となる。 ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
  論文  参考訳（メタデータ） (2020-07-31T14:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。