論文の概要: EEGM2: An Efficient Mamba-2-Based Self-Supervised Framework for Long-Sequence EEG Modeling

• arxiv url: http://arxiv.org/abs/2502.17873v1
• Date: Tue, 25 Feb 2025 05:57:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:20:59.149164
• Title: EEGM2: An Efficient Mamba-2-Based Self-Supervised Framework for Long-Sequence EEG Modeling
• Title（参考訳）: EEGM2: ロングシーケンスEEGモデリングのための効率的なMamba-2ベースのセルフスーパービジョンフレームワーク
• Authors: Jiazhen Hong, Geoffrey Mackellar, Soheila Ghane,
• Abstract要約: EEGM2は構造化状態空間双対性(SSD)に基づく自己教師型フレームワーク 我々は,脳波の局所的特徴とグローバルな特徴の両方を捉えるリコンストラクションベースのフレームワークを提案する。 また、雑音に対する安定性を高め、スペクトル情報を保存するロバストネス認識損失関数を導入する。
• 参考スコア（独自算出の注目度）: 0.5898893619901381
• License:
• Abstract: Deep learning has achieved significant progress in the development of electroencephalogram (EEG) foundation models, with Transformer-based architectures excelling at capturing long-range dependencies. However, their quadratic computational complexity presents challenges in memory efficiency, training, and inference speed, limiting their scalability and generalizability as a foundation model. In this paper, we propose EEGM2, a self-supervised framework based on structured state space duality (SSD) that overcomes these limitations. EEGM2 introduces three key innovations: (1) a reconstruction-based framework that captures both local and global EEG features through Mamba-2 structured state space models, (2) a spatiotemporal-aware loss function that enhances robustness to noise and preserves spectral information, and (3) a multi-branch receptive field input embedding strategy that improves cross-subject generalization and stability for EEG sequences of varying lengths. In comparison to traditional pretraining methods, on raw EEG or latent representation spaces, EEGM2 shows superior performance on long-sequence tasks, where conventional models struggle. Our experimental results on six EEG datasets validate that EEGM2 not only achieves state-of-the-art cross-domain accuracy but also reduces computational overhead, making it a more efficient solution for deployment on resource-constrained BCI devices.
• Abstract（参考訳）: ディープラーニングは脳波基礎モデル(EEG)の開発において大きな進歩を遂げており、Transformerベースのアーキテクチャは長距離依存を捉えるのに優れている。 しかし、その二次計算複雑性は、メモリ効率、トレーニング、推論速度の課題を示し、基礎モデルとしてのスケーラビリティと一般化性を制限する。 本稿では,これらの制約を克服する構造化状態空間双対性(SSD)に基づく自己教師型フレームワークEEGM2を提案する。 EEGM2は,(1)Mamba-2構造化状態空間モデルによる局所脳波特徴とグローバル脳波特徴の両方をキャプチャする再構築型フレームワーク,(2)ノイズに対する堅牢性を高め,スペクトル情報を保存する時空間認識損失関数,(3)様々な長さのEEG配列のクロスオブジェクト一般化と安定性を改善するマルチブランチ受容入力埋め込み戦略,の3つの重要なイノベーションを紹介した。 従来の事前学習手法と比較して、生のEEGや潜在表現空間において、EEGM2は従来のモデルが苦労する長時間タスクにおいて優れた性能を示す。 6つのEEGデータセットによる実験結果から、EEGM2は最先端のクロスドメインの精度を達成するだけでなく、計算オーバーヘッドを低減し、リソース制約のBCIデバイスへのデプロイをより効率的に行えるようにした。

関連論文リスト

• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• CEReBrO: Compact Encoder for Representations of Brain Oscillations Using Efficient Alternating Attention [53.539020807256904]
  交互注意(CEReBrO)を用いた脳振動の表現のための圧縮法について紹介する。 トークン化方式は、チャネルごとのパッチで脳波信号を表現します。 本研究では,チャネル内時間的ダイナミックスとチャネル間空間的相関を共同でモデル化し,通常の自己アテンションに比べて6倍少ないメモリで2倍の速度向上を実現するための注意機構を提案する。
  論文  参考訳（メタデータ） (2025-01-18T21:44:38Z)
• GEFM: Graph-Enhanced EEG Foundation Model [16.335330142000657]
  ファンデーションモデルは、事前トレーニングを通じて大規模なラベルなしデータを活用することで、有望なソリューションを提供する。 本稿では,時間情報とチャネル間情報を統合した新しい脳波基盤モデルであるグラフ拡張脳波基礎モデル(GEFM)を提案する。 我々のアーキテクチャはグラフニューラルネットワーク(GNN)とマスク付きオートエンコーダを組み合わせることで,効率的な事前学習を実現する。
  論文  参考訳（メタデータ） (2024-11-29T06:57:50Z)
• BiT-MamSleep: Bidirectional Temporal Mamba for EEG Sleep Staging [9.917709200378217]
  BiT-MamSleepは,Triple-Resolution CNN(TRCNN)を統合し,効率的なマルチスケール特徴抽出を行う新しいアーキテクチャである。 BiT-MamSleepにはAdaptive Feature Recalibration (AFR)モジュールと時間拡張ブロックが組み込まれている。 4つの公開データセットの実験は、BiT-MamSleepが最先端の手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-11-03T14:49:11Z)
• Automatically Learning Hybrid Digital Twins of Dynamical Systems [56.69628749813084]
  Digital Twins (DT)は、現実世界のシステムの状態と時間力学をシミュレートする。 DTは、しばしばデータスカース設定で目に見えない条件に一般化するのに苦労します。 本稿では,HDTwinsを自律的に提案し,評価し,最適化するための進化的アルゴリズム(textbfHDTwinGen$)を提案する。
  論文  参考訳（メタデータ） (2024-10-31T07:28:22Z)
• POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
  Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。 本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。 結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
  論文  参考訳（メタデータ） (2024-09-30T16:05:29Z)
• EEGMamba: Bidirectional State Space Model with Mixture of Experts for EEG Multi-task Classification [1.4004287903552533]
  脳波アプリケーションのためのマルチタスク学習を真に実装した最初のユニバーサル脳波分類ネットワークであるEEGMambaを紹介する。 EEGMambaは、Spatio-Temporal-Adaptive (ST-Adaptive)モジュール、双方向のMamba、Mixture of Experts (MoE)をシームレスに統合したフレームワークに統合する。 本研究では,8つの公用EEGデータセットを用いてモデルの評価を行い,その性能を4種類のタスクで実証した。
  論文  参考訳（メタデータ） (2024-07-20T11:15:47Z)
• SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
  本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。 第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。 実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
  論文  参考訳（メタデータ） (2024-04-07T22:13:43Z)
• ESTformer: Transformer Utilizing Spatiotemporal Dependencies for EEG Super-resolution [14.2426667945505]
  ESTformerは、Transformerに基づいた一時的な依存関係を利用するEEGフレームワークである。 ESTformerは、空間と時間次元に位置符号化法とマルチヘッド自己認識機構を適用する。
  論文  参考訳（メタデータ） (2023-12-03T12:26:32Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models [68.9288651177564]
  量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。 分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。 GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
  論文  参考訳（メタデータ） (2022-03-02T13:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。