論文の概要: An Efficient Self-Supervised Framework for Long-Sequence EEG Modeling

• arxiv url: http://arxiv.org/abs/2502.17873v2
• Date: Mon, 22 Sep 2025 19:27:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 16:16:25.551914
• Title: An Efficient Self-Supervised Framework for Long-Sequence EEG Modeling
• Title（参考訳）: 時系列脳波モデリングのための効率的な自己監督型フレームワーク
• Authors: Jiazhen Hong, Geoffrey Mackellar, Soheila Ghane,
• Abstract要約: 脳波表現学習のための自己教師型フレームワークであるEEGM2を提案する。 EEGM2は、ショートシーケンスとロングシーケンスの両方のモデリングと分類において最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 2.1232375739287006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Electroencephalogram (EEG) signals generally exhibit low signal-to-noise ratio (SNR) and high inter-subject variability, making generalization across subjects and domains challenging. Recent advances in deep learning, particularly self-supervised learning with Transformer-based architectures, have shown promise in EEG representation learning. However, their quadratic computational complexity increases memory usage and slows inference, making them inefficient for modeling long-range dependencies. Moreover, most existing approaches emphasize either explicit window segmentation of the temporal signal or spectral-only input embedding while neglecting raw temporal dynamics. In this paper, we propose EEGM2, a self-supervised framework that overcomes these limitations. EEGM2 adopts a U-shaped encoder-decoder architecture integrated with Mamba-2 to achieve linear computational complexity, thereby reducing memory usage and improving inference speed. Meanwhile, the selective information propagation mechanism of Mamba-2 enables the model to effectively capture and preserve long-range dependencies in raw EEG signals, where traditional RNN or CNN architectures often struggle. Moreover, EEGM2 employs a self-supervised pre-training objective that reconstructs raw EEG using a combined L1 and spectral (Fourier-based) loss, enhancing generalization by jointly preserving temporal dynamics and spectral characteristics. Experimental results demonstrate that EEGM2 achieves state-of-the-art performance in both short- and long-sequence modeling and classification. Further evaluations show that EEGM2 consistently outperforms existing models, demonstrating strong generalization across subjects and tasks, as well as transferability across domains. Overall, EEGM2 offers an efficient and scalable solution suitable for deployment on resource-constrained brain-computer interface (BCI) devices.
• Abstract（参考訳）: 脳波(EEG)信号は一般に低信号対雑音比(SNR)と高い物体間変動を示し、被験者や領域をまたいだ一般化が困難である。 近年のディープラーニング,特にトランスフォーマーアーキテクチャを用いた自己教師型学習は,脳波表現学習において有望であることを示している。 しかし、その二次計算複雑性はメモリ使用量を増やし、推論を遅くし、長距離依存のモデリングに非効率になる。 さらに、既存のほとんどのアプローチでは、時間的信号の明示的なウィンドウセグメンテーションやスペクトルのみの入力埋め込みが強調され、生の時間的ダイナミクスは無視されている。 本稿では,これらの制約を克服する自己教師型フレームワークであるEEGM2を提案する。 EEGM2は、Mamba-2と統合されたU字型エンコーダデコーダアーキテクチャを採用し、線形計算の複雑さを実現し、メモリ使用率の低減と推論速度の向上を実現している。 一方、Mamba-2の選択的情報伝達機構は、従来のRNNやCNNアーキテクチャがしばしば苦労する生の脳波信号の長距離依存性を効果的に捕捉し保存することを可能にする。 さらに、EEGM2は、L1とスペクトル(フーリエベース)損失を組み合わせた生の脳波を再構成し、時間的ダイナミクスとスペクトル特性を併用して一般化を促進する自己教師付き事前学習目標を採用している。 実験結果から,EEGM2は短周期および長周期のモデルと分類の両方において最先端の性能を達成できることが示された。 さらなる評価では、EEGM2は既存のモデルよりも一貫して優れており、課題やタスク、ドメイン間の転送可能性など、強力な一般化が示されている。 全体としてEEGM2は、リソース制約のある脳-コンピュータインターフェース(BCI)デバイスへのデプロイに適した、効率的でスケーラブルなソリューションを提供する。

関連論文リスト

• RGE-GS: Reward-Guided Expansive Driving Scene Reconstruction via Diffusion Priors [54.81109375939306]
  RGE-GSは、拡散に基づく生成と報酬誘導ガウス積分を相乗化する新しい拡張的再構築フレームワークである。 本稿では,復元フェーズに先立って一貫したパターンを識別・優先順位付けする報奨ネットワークを提案する。 復元過程において,シーン収束度に応じてガウス最適化の進捗を自動的に調整する学習戦略を考案した。
  論文  参考訳（メタデータ） (2025-06-28T08:02:54Z)
• CodeBrain: Bridging Decoupled Tokenizer and Multi-Scale Architecture for EEG Foundation Model [33.550819280074826]
  EEGファンデーションモデルは、マルチスケールの脳依存を捉える上で、限られた異種表現能力と非効率性に苦しむ。 我々は,脳組織に適応した効率的なEMFであるCodeBrainを2段階の訓練で提案する。 EEGSSMは、構造化されたグローバルな畳み込みアーキテクチャとスライディングウィンドウアテンション機構を組み合わせて、スパースな長距離および局所的な依存関係を共同でモデル化する。
  論文  参考訳（メタデータ） (2025-06-10T17:20:39Z)
• Scaling Reasoning without Attention [44.42046576158219]
  アーキテクチャとデータ中心のイノベーションを通じて、両方の問題に対処する、注目のない言語モデルである。 我々のモデルは、自己アテンションとキー値キャッシュの必要性を排除し、固定メモリ、定数時間推論を可能にします。 ベンチマーク評価では、我々のモデル7Bは、強力なトランスフォーマーと同等のスケールのハイブリッドモデルよりも優れています。
  論文  参考訳（メタデータ） (2025-05-28T14:52:15Z)
• ALFEE: Adaptive Large Foundation Model for EEG Representation [17.166788472910806]
  本稿では,脳波信号表現(ALFEE)フレームワークのための適応大基礎モデルを提案する。 ALFEEは、堅牢な脳波表現学習のための2つの学習段階を持つ、新しいハイブリッドトランスフォーマーアーキテクチャである。 25,000時間の事前トレーニングの後、6つの下流脳波タスクに関する広範な実験結果が、既存のモデルよりもALFEEの方が優れた性能を示している。
  論文  参考訳（メタデータ） (2025-05-07T13:32:31Z)
• CFMD: Dynamic Cross-layer Feature Fusion for Salient Object Detection [7.262250906929891]
  クロス層機能ピラミッドネットワーク(CFPN)は,多層機能融合と境界詳細保存において顕著な進歩を遂げている。 これらの課題に対処するために,CFMDという,2つの重要なイノベーションを取り入れた,新しいクロスレイヤ機能ピラミッドネットワークを提案する。 まず,現在最先端のMambaアーキテクチャを組み込んで動的重み分布機構を構築するコンテキスト認識機能集約モジュール(CFLMA)を設計する。 第2に,分解能回復時に空間的詳細を保存する適応動的アップサンプリングユニット(CFLMD)を導入する。
  論文  参考訳（メタデータ） (2025-04-02T03:22:36Z)
• Paving the way for scientific foundation models: enhancing generalization and robustness in PDEs with constraint-aware pre-training [49.8035317670223]
  科学基盤モデル(SciFM)は、様々な領域にまたがる伝達可能な表現を学習するための有望なツールとして登場しつつある。 本稿では,PDE残差を単独の学習信号として,あるいはデータ損失と組み合わせて事前学習に組み込むことにより,限定的あるいは実用的でないトレーニングデータに補償することを提案する。 以上の結果から, PDE制約による事前学習は, 解データのみを訓練したモデルよりも, 一般化を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2025-03-24T19:12:39Z)
• DriveTransformer: Unified Transformer for Scalable End-to-End Autonomous Driving [62.62464518137153]
  DriveTransformerは、スケールアップを簡単にするためのシンプルなE2E-ADフレームワークである。 タスク・セルフ・アテンション、センサー・クロス・アテンション、時間的クロス・アテンションという3つの統合された操作で構成されている。 シミュレーションされたクローズドループベンチマークBench2Driveと、FPSの高い実世界のオープンループベンチマークnuScenesの両方で、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-03-07T11:41:18Z)
• BHViT: Binarized Hybrid Vision Transformer [53.38894971164072]
  モデルバイナライゼーションは畳み込みニューラルネットワーク(CNN)のリアルタイムおよびエネルギー効率の計算を可能にした。 本稿では,バイナライズフレンドリーなハイブリッドViTアーキテクチャであるBHViTとそのバイナライズモデルを提案する。 提案アルゴリズムは,バイナリ ViT 手法間でSOTA 性能を実現する。
  論文  参考訳（メタデータ） (2025-03-04T08:35:01Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• GEFM: Graph-Enhanced EEG Foundation Model [16.335330142000657]
  ファンデーションモデルは、事前トレーニングを通じて大規模なラベルなしデータを活用することで、有望なソリューションを提供する。 本稿では,時間情報とチャネル間情報を統合した新しい脳波基盤モデルであるグラフ拡張脳波基礎モデル(GEFM)を提案する。 我々のアーキテクチャはグラフニューラルネットワーク(GNN)とマスク付きオートエンコーダを組み合わせることで,効率的な事前学習を実現する。
  論文  参考訳（メタデータ） (2024-11-29T06:57:50Z)
• BiT-MamSleep: Bidirectional Temporal Mamba for EEG Sleep Staging [9.917709200378217]
  BiT-MamSleepは,Triple-Resolution CNN(TRCNN)を統合し,効率的なマルチスケール特徴抽出を行う新しいアーキテクチャである。 BiT-MamSleepにはAdaptive Feature Recalibration (AFR)モジュールと時間拡張ブロックが組み込まれている。 4つの公開データセットの実験は、BiT-MamSleepが最先端の手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-11-03T14:49:11Z)
• POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
  Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。 本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。 結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
  論文  参考訳（メタデータ） (2024-09-30T16:05:29Z)
• EEGMamba: Bidirectional State Space Model with Mixture of Experts for EEG Multi-task Classification [1.4004287903552533]
  脳波アプリケーションのためのマルチタスク学習を真に実装した最初のユニバーサル脳波分類ネットワークであるEEGMambaを紹介する。 EEGMambaは、Spatio-Temporal-Adaptive (ST-Adaptive)モジュール、双方向のMamba、Mixture of Experts (MoE)をシームレスに統合したフレームワークに統合する。 本研究では,8つの公用EEGデータセットを用いてモデルの評価を行い,その性能を4種類のタスクで実証した。
  論文  参考訳（メタデータ） (2024-07-20T11:15:47Z)
• SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
  本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。 第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。 実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
  論文  参考訳（メタデータ） (2024-04-07T22:13:43Z)
• ESTformer: Transformer Utilizing Spatiotemporal Dependencies for EEG Super-resolution [14.2426667945505]
  ESTformerは、Transformerに基づいた一時的な依存関係を利用するEEGフレームワークである。 ESTformerは、空間と時間次元に位置符号化法とマルチヘッド自己認識機構を適用する。
  論文  参考訳（メタデータ） (2023-12-03T12:26:32Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。