論文の概要: EEGMamba: Bidirectional State Space Model with Mixture of Experts for EEG Multi-task Classification

• arxiv url: http://arxiv.org/abs/2407.20254v2
• Date: Sun, 6 Oct 2024 12:02:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 14:05:01.103592
• Title: EEGMamba: Bidirectional State Space Model with Mixture of Experts for EEG Multi-task Classification
• Title（参考訳）: EEGMamba:EEGマルチタスク分類の専門家の混在を考慮した双方向状態空間モデル
• Authors: Yiyu Gui, MingZhi Chen, Yuqi Su, Guibo Luo, Yuchao Yang,
• Abstract要約: 脳波アプリケーションのためのマルチタスク学習を真に実装した最初のユニバーサル脳波分類ネットワークであるEEGMambaを紹介する。 EEGMambaは、Spatio-Temporal-Adaptive (ST-Adaptive)モジュール、双方向のMamba、Mixture of Experts (MoE)をシームレスに統合したフレームワークに統合する。 本研究では,8つの公用EEGデータセットを用いてモデルの評価を行い,その性能を4種類のタスクで実証した。
• 参考スコア（独自算出の注目度）: 1.4004287903552533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, with the development of deep learning, electroencephalogram (EEG) classification networks have achieved certain progress. Transformer-based models can perform well in capturing long-term dependencies in EEG signals. However, their quadratic computational complexity poses a substantial computational challenge. Moreover, most EEG classification models are only suitable for single tasks and struggle with generalization across different tasks, particularly when faced with variations in signal length and channel count. In this paper, we introduce EEGMamba, the first universal EEG classification network to truly implement multi-task learning for EEG applications. EEGMamba seamlessly integrates the Spatio-Temporal-Adaptive (ST-Adaptive) module, bidirectional Mamba, and Mixture of Experts (MoE) into a unified framework. The proposed ST-Adaptive module performs unified feature extraction on EEG signals of different lengths and channel counts through spatial-adaptive convolution and incorporates a class token to achieve temporal-adaptability. Moreover, we design a bidirectional Mamba particularly suitable for EEG signals for further feature extraction, balancing high accuracy, fast inference speed, and efficient memory-usage in processing long EEG signals. To enhance the processing of EEG data across multiple tasks, we introduce task-aware MoE with a universal expert, effectively capturing both differences and commonalities among EEG data from different tasks. We evaluate our model on eight publicly available EEG datasets, and the experimental results demonstrate its superior performance in four types of tasks: seizure detection, emotion recognition, sleep stage classification, and motor imagery. The code is set to be released soon.
• Abstract（参考訳）: 近年、深層学習の発展に伴い、脳波分類網(EEG)は一定の進歩を遂げている。 トランスフォーマーベースのモデルは、脳波信号の長期的な依存関係を捉えるのによく機能する。 しかし、その二次計算の複雑さは、かなりの計算上の問題を引き起こす。 さらに、ほとんどのEEG分類モデルは単一タスクにのみ適しており、特に信号長やチャネル数の変化に直面した場合、様々なタスクの一般化に苦慮している。 本稿では,脳波アプリケーションのためのマルチタスク学習を真に実装した初のユニバーサル脳波分類ネットワークであるEEGMambaを紹介する。 EEGMambaは、Spatio-Temporal-Adaptive (ST-Adaptive)モジュール、双方向のMamba、Mixture of Experts (MoE)をシームレスに統合したフレームワークに統合する。 提案するST-Adaptiveモジュールは,空間適応的畳み込みによって異なる長さとチャネル数を持つ脳波信号に対して統合された特徴抽出を行い,時間適応性を実現するためにクラストークンを組み込む。 さらに,脳波信号に特に適する双方向のマンバを設計し,特徴抽出,高精度のバランス,高速推論速度,長期脳波信号処理における効率的なメモリ使用量について検討した。 複数のタスクにまたがる脳波データの処理を強化するため、タスク認識型MOEをユニバーサルエキスパートに導入し、異なるタスクから脳波データの違いと共通点の両方を効果的に把握する。 本研究では,8つの公用脳波データセットを用いてモデルの評価を行い,その評価結果から,発作検出,感情認識,睡眠ステージ分類,運動画像の4種類のタスクにおいて,その優れた性能を実証した。 コードはまもなくリリースされる予定だ。

関連論文リスト

• EEGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training [9.57946371147345]
  EEGPTはこれらの課題に対処するために設計された最初の一般のEEG基盤モデルである。 まず,各電極を基本単位として扱う電極ワイド・モデリング手法を提案する。 第2に、最初の自己回帰型脳波事前学習モデルを開発する。 第3に,学習可能な電極グラフネットワークを用いたマルチタスク転送学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-14T12:17:54Z)
• Dual-TSST: A Dual-Branch Temporal-Spectral-Spatial Transformer Model for EEG Decoding [2.0721229324537833]
  デュアルブランチ時間スペクトル空間変換器(Dual-TSST)を用いた新しいデコードアーキテクチャネットワークを提案する。 提案するDual-TSSTは様々なタスクにおいて優れており,平均精度80.67%の脳波分類性能が期待できる。 本研究は,高性能脳波デコーディングへの新たなアプローチを提供するとともに,将来のCNN-Transformerベースのアプリケーションにも大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-09-05T05:08:43Z)
• Geodesic Optimization for Predictive Shift Adaptation on EEG data [53.58711912565724]
  ドメイン適応メソッドは、$X$と$y$で分散シフトが同時に発生したときに苦労する。 本稿では,GOPSA(Geodesic Optimization for Predictive Shift Adaptation)と呼ばれる新しい手法を提案する。 GOPSAは、脳波のバイオメディカル応用のための混合効果モデリングと機械学習を併用する可能性を持っている。
  論文  参考訳（メタデータ） (2024-07-04T12:15:42Z)
• Joint Contrastive Learning with Feature Alignment for Cross-Corpus EEG-based Emotion Recognition [2.1645626994550664]
  我々は,クロスコーパス脳波に基づく感情認識に対処するために,特徴アライメントを用いた新しいコントラスト学習フレームワークを提案する。 事前学習段階では、脳波信号の一般化可能な時間周波数表現を特徴付けるために、共同領域コントラスト学習戦略を導入する。 微調整の段階では、JCFAは脳電極間の構造的接続を考慮した下流タスクと共に洗練される。
  論文  参考訳（メタデータ） (2024-04-15T08:21:17Z)
• Physics-informed and Unsupervised Riemannian Domain Adaptation for Machine Learning on Heterogeneous EEG Datasets [53.367212596352324]
  脳波信号物理を利用した教師なし手法を提案する。 脳波チャンネルをフィールド、ソースフリーなドメイン適応を用いて固定位置にマッピングする。 提案手法は脳-コンピュータインタフェース(BCI)タスクおよび潜在的なバイオマーカー応用におけるロバストな性能を示す。
  論文  参考訳（メタデータ） (2024-03-07T16:17:33Z)
• vEEGNet: learning latent representations to reconstruct EEG raw data via variational autoencoders [3.031375888004876]
  本稿では,2つのモジュールを持つDLアーキテクチャであるvEEGNetを提案する。つまり,データの潜在表現を抽出する変分オートエンコーダに基づく教師なしモジュールと,フィードフォワードニューラルネットワークに基づく教師付きモジュールにより異なる動作を分類する。 我々は最先端の分類性能を示し、生の脳波の低周波成分と中周波成分の両方を再構成する能力を示した。
  論文  参考訳（メタデータ） (2023-11-16T19:24:40Z)
• CSLP-AE: A Contrastive Split-Latent Permutation Autoencoder Framework for Zero-Shot Electroencephalography Signal Conversion [49.1574468325115]
  脳波分析の鍵となる目的は、基礎となる神経活動(コンテンツ)を抽出し、個体の変動(スタイル)を考慮することである。 近年の音声変換技術の発展に触発されて,脳波変換を直接最適化するCSLP-AEフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-13T22:46:43Z)
• DGSD: Dynamical Graph Self-Distillation for EEG-Based Auditory Spatial Attention Detection [49.196182908826565]
  AAD(Auditory Attention Detection)は、マルチスピーカー環境で脳信号からターゲット話者を検出することを目的としている。 現在のアプローチは主に、画像のようなユークリッドデータを処理するために設計された従来の畳み込みニューラルネットワークに依存している。 本稿では、入力として音声刺激を必要としないAADのための動的グラフ自己蒸留(DGSD)手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T13:43:46Z)
• Convolutional Monge Mapping Normalization for learning on sleep data [63.22081662149488]
  我々は、CMMN(Convolutional Monge Mapping Normalization)と呼ばれる新しい手法を提案する。 CMMNは、そのパワースペクトル密度(PSD)をトレーニングデータに基づいて推定されるワッサーシュタインバリセンタに適応させるために、信号をフィルタリングする。 睡眠脳波データに関する数値実験により、CMMNはニューラルネットワークアーキテクチャから独立して、顕著で一貫したパフォーマンス向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-05-30T08:24:01Z)
• EEGMatch: Learning with Incomplete Labels for Semi-Supervised EEG-based Cross-Subject Emotion Recognition [7.1695247553867345]
  ラベル付き脳波データとラベルなし脳波データの両方を活用する新しい半教師付き学習フレームワーク(EEGMatch)を提案する。 2つのベンチマークデータベース(SEEDとSEED-IV)で大規模な実験を行う。
  論文  参考訳（メタデータ） (2023-03-27T12:02:33Z)
• EEG-Inception: An Accurate and Robust End-to-End Neural Network for EEG-based Motor Imagery Classification [123.93460670568554]
  本稿では,脳波に基づく運動画像(MI)分類のための新しい畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。 提案したCNNモデル、すなわちEEG-Inceptionは、Inception-Timeネットワークのバックボーン上に構築されている。 提案するネットワークは、生のEEG信号を入力とし、複雑なEEG信号前処理を必要としないため、エンドツーエンドの分類である。
  論文  参考訳（メタデータ） (2021-01-24T19:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。