論文の概要: EEGM2: An Efficient Mamba-2-Based Self-Supervised Framework for Long-Sequence EEG Modeling

• arxiv url: http://arxiv.org/abs/2502.17873v1
• Date: Tue, 25 Feb 2025 05:57:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 17:42:45.748391
• Title: EEGM2: An Efficient Mamba-2-Based Self-Supervised Framework for Long-Sequence EEG Modeling
• Title（参考訳）: EEGM2: ロングシーケンスEEGモデリングのための効率的なMamba-2ベースのセルフスーパービジョンフレームワーク
• Authors: Jiazhen Hong, Geoffrey Mackellar, Soheila Ghane,
• Abstract要約: EEGM2は構造化状態空間双対性(SSD)に基づく自己教師型フレームワーク 我々は,脳波の局所的特徴とグローバルな特徴の両方を捉えるリコンストラクションベースのフレームワークを提案する。 また、雑音に対する安定性を高め、スペクトル情報を保存するロバストネス認識損失関数を導入する。
• 参考スコア（独自算出の注目度）: 0.5898893619901381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has achieved significant progress in the development of electroencephalogram (EEG) foundation models, with Transformer-based architectures excelling at capturing long-range dependencies. However, their quadratic computational complexity presents challenges in memory efficiency, training, and inference speed, limiting their scalability and generalizability as a foundation model. In this paper, we propose EEGM2, a self-supervised framework based on structured state space duality (SSD) that overcomes these limitations. EEGM2 introduces three key innovations: (1) a reconstruction-based framework that captures both local and global EEG features through Mamba-2 structured state space models, (2) a spatiotemporal-aware loss function that enhances robustness to noise and preserves spectral information, and (3) a multi-branch receptive field input embedding strategy that improves cross-subject generalization and stability for EEG sequences of varying lengths. In comparison to traditional pretraining methods, on raw EEG or latent representation spaces, EEGM2 shows superior performance on long-sequence tasks, where conventional models struggle. Our experimental results on six EEG datasets validate that EEGM2 not only achieves state-of-the-art cross-domain accuracy but also reduces computational overhead, making it a more efficient solution for deployment on resource-constrained BCI devices.
• Abstract（参考訳）: ディープラーニングは脳波基礎モデル(EEG)の開発において大きな進歩を遂げており、Transformerベースのアーキテクチャは長距離依存を捉えるのに優れている。 しかし、その二次計算複雑性は、メモリ効率、トレーニング、推論速度の課題を示し、基礎モデルとしてのスケーラビリティと一般化性を制限する。 本稿では,これらの制約を克服する構造化状態空間双対性(SSD)に基づく自己教師型フレームワークEEGM2を提案する。 EEGM2は,(1)Mamba-2構造化状態空間モデルによる局所脳波特徴とグローバル脳波特徴の両方をキャプチャする再構築型フレームワーク,(2)ノイズに対する堅牢性を高め,スペクトル情報を保存する時空間認識損失関数,(3)様々な長さのEEG配列のクロスオブジェクト一般化と安定性を改善するマルチブランチ受容入力埋め込み戦略,の3つの重要なイノベーションを紹介した。 従来の事前学習手法と比較して、生のEEGや潜在表現空間において、EEGM2は従来のモデルが苦労する長時間タスクにおいて優れた性能を示す。 6つのEEGデータセットによる実験結果から、EEGM2は最先端のクロスドメインの精度を達成するだけでなく、計算オーバーヘッドを低減し、リソース制約のBCIデバイスへのデプロイをより効率的に行えるようにした。

関連論文リスト

• CFMD: Dynamic Cross-layer Feature Fusion for Salient Object Detection [7.262250906929891]
  クロス層機能ピラミッドネットワーク(CFPN)は,多層機能融合と境界詳細保存において顕著な進歩を遂げている。 これらの課題に対処するために,CFMDという,2つの重要なイノベーションを取り入れた,新しいクロスレイヤ機能ピラミッドネットワークを提案する。 まず,現在最先端のMambaアーキテクチャを組み込んで動的重み分布機構を構築するコンテキスト認識機能集約モジュール(CFLMA)を設計する。 第2に,分解能回復時に空間的詳細を保存する適応動的アップサンプリングユニット(CFLMD)を導入する。
  論文  参考訳（メタデータ） (2025-04-02T03:22:36Z)
• Paving the way for scientific foundation models: enhancing generalization and robustness in PDEs with constraint-aware pre-training [49.8035317670223]
  科学基盤モデル(SciFM)は、様々な領域にまたがる伝達可能な表現を学習するための有望なツールとして登場しつつある。 本稿では,PDE残差を単独の学習信号として,あるいはデータ損失と組み合わせて事前学習に組み込むことにより,限定的あるいは実用的でないトレーニングデータに補償することを提案する。 以上の結果から, PDE制約による事前学習は, 解データのみを訓練したモデルよりも, 一般化を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2025-03-24T19:12:39Z)
• DriveTransformer: Unified Transformer for Scalable End-to-End Autonomous Driving [62.62464518137153]
  DriveTransformerは、スケールアップを簡単にするためのシンプルなE2E-ADフレームワークである。 タスク・セルフ・アテンション、センサー・クロス・アテンション、時間的クロス・アテンションという3つの統合された操作で構成されている。 シミュレーションされたクローズドループベンチマークBench2Driveと、FPSの高い実世界のオープンループベンチマークnuScenesの両方で、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-03-07T11:41:18Z)
• BHViT: Binarized Hybrid Vision Transformer [53.38894971164072]
  モデルバイナライゼーションは畳み込みニューラルネットワーク(CNN)のリアルタイムおよびエネルギー効率の計算を可能にした。 本稿では,バイナライズフレンドリーなハイブリッドViTアーキテクチャであるBHViTとそのバイナライズモデルを提案する。 提案アルゴリズムは,バイナリ ViT 手法間でSOTA 性能を実現する。
  論文  参考訳（メタデータ） (2025-03-04T08:35:01Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• GEFM: Graph-Enhanced EEG Foundation Model [16.335330142000657]
  ファンデーションモデルは、事前トレーニングを通じて大規模なラベルなしデータを活用することで、有望なソリューションを提供する。 本稿では,時間情報とチャネル間情報を統合した新しい脳波基盤モデルであるグラフ拡張脳波基礎モデル(GEFM)を提案する。 我々のアーキテクチャはグラフニューラルネットワーク(GNN)とマスク付きオートエンコーダを組み合わせることで,効率的な事前学習を実現する。
  論文  参考訳（メタデータ） (2024-11-29T06:57:50Z)
• BiT-MamSleep: Bidirectional Temporal Mamba for EEG Sleep Staging [9.917709200378217]
  BiT-MamSleepは,Triple-Resolution CNN(TRCNN)を統合し,効率的なマルチスケール特徴抽出を行う新しいアーキテクチャである。 BiT-MamSleepにはAdaptive Feature Recalibration (AFR)モジュールと時間拡張ブロックが組み込まれている。 4つの公開データセットの実験は、BiT-MamSleepが最先端の手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-11-03T14:49:11Z)
• POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
  Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。 本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。 結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
  論文  参考訳（メタデータ） (2024-09-30T16:05:29Z)
• EEGMamba: Bidirectional State Space Model with Mixture of Experts for EEG Multi-task Classification [1.4004287903552533]
  脳波アプリケーションのためのマルチタスク学習を真に実装した最初のユニバーサル脳波分類ネットワークであるEEGMambaを紹介する。 EEGMambaは、Spatio-Temporal-Adaptive (ST-Adaptive)モジュール、双方向のMamba、Mixture of Experts (MoE)をシームレスに統合したフレームワークに統合する。 本研究では,8つの公用EEGデータセットを用いてモデルの評価を行い,その性能を4種類のタスクで実証した。
  論文  参考訳（メタデータ） (2024-07-20T11:15:47Z)
• SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
  本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。 第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。 実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
  論文  参考訳（メタデータ） (2024-04-07T22:13:43Z)
• ESTformer: Transformer Utilizing Spatiotemporal Dependencies for EEG Super-resolution [14.2426667945505]
  ESTformerは、Transformerに基づいた一時的な依存関係を利用するEEGフレームワークである。 ESTformerは、空間と時間次元に位置符号化法とマルチヘッド自己認識機構を適用する。
  論文  参考訳（メタデータ） (2023-12-03T12:26:32Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。