論文の概要: SAMBA: Toward a Long-Context EEG Foundation Model via Spatial Embedding and Differential Mamba
- arxiv url: http://arxiv.org/abs/2511.18571v1
- Date: Sun, 23 Nov 2025 18:31:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:24.905629
- Title: SAMBA: Toward a Long-Context EEG Foundation Model via Spatial Embedding and Differential Mamba
- Title（参考訳）: SAMBA:空間埋め込みと微分マンバによる長期脳波基礎モデルに向けて
- Authors: Jiazhen Hong, Geoffrey Mackellar, Soheila Ghane,
- Abstract要約: 脳波(EEG)モデリングは、一般化可能な脳波表現モデルの開発に不可欠である。
我々は,マンバをベースとしたU字型エンコーダデコーダアーキテクチャを用いた自己教師型学習フレームワークであるtextitSAMBAを提案する。
SAMBAは、メモリ消費と推論時間を維持しながら、最先端の手法を一貫して上回ることを示す。
- 参考スコア（独自算出の注目度）: 2.1232375739287006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-sequence electroencephalogram (EEG) modeling is essential for developing generalizable EEG representation models. This need arises from the high sampling rate of EEG data and the long recording durations required to capture extended neurological patterns in brain activity. Transformer-based models have shown promise in modeling short sequences of a few seconds; however, their quadratic complexity limits scalability to longer contexts. Moreover, variability in electrode montage across available datasets, along with inter-subject differences in brain signals, pose significant challenges to developing a generalizable and robust foundation model. We propose \textit{SAMBA}, a self-supervised learning framework with a Mamba-based U-shaped encoder-decoder architecture, which effectively captures long-range temporal dependencies and spatial variability in EEG data. Leveraging the inherent ability of Mamba in processing long context sizes, we introduce: (1) \textit{Temporal Semantic Random Masking} for semantic-level sequence reconstruction, (2) a \textit{Multi-Head Differential Mamba} module to suppress redundancy and emphasize salient temporal structures, and (3) a \textit{Spatial-Adaptive Input Embedding} that learns unified embeddings in a three-dimensional Euclidean space, enabling robustness across devices. Experiments on thirteen EEG datasets across diverse tasks, electrode configurations, and sequence durations demonstrate that SAMBA consistently outperforms state-of-the-art methods while maintaining low memory consumption and inference time. We also show the learned spatial weight maps from our embedding module align closely with task-relevant neurophysiological regions, demonstrating the learnability and interpretability of SAMBA. These results highlight SAMBA's scalability and practical potential as a foundation model for real-time brain-computer interface applications.
- Abstract（参考訳）: 脳波(EEG)モデリングは、一般化可能な脳波表現モデルの開発に不可欠である。
このニーズは、脳波データのサンプリング率の高さと、脳活動における拡張された神経学的パターンを捉えるのに必要な長い記録期間から生じる。
トランスフォーマーベースのモデルでは、ショートシーケンスを数秒でモデル化することは約束されているが、その2次複雑性はスケーラビリティを長いコンテキストに制限している。
さらに、利用可能なデータセットにまたがる電極モンタージュの変化と、脳信号のオブジェクト間の違いは、一般化可能で堅牢な基礎モデルを開発する上で大きな課題を提起する。
脳波データの長距離時間依存性と空間変動を効果的に捉え,マンバをベースとしたU字型エンコーダデコーダアーキテクチャを用いた自己教師型学習フレームワークである「textit{SAMBA}」を提案する。
1) 意味レベルでのシーケンス再構成のための \textit{Temporal Semantic Random Masking} ,(2) 冗長性を抑えるために \textit{Multi-Head Differential Mamba} モジュール,(3) 三次元ユークリッド空間における統一埋め込みを学習してデバイス間の堅牢性を実現する \textit{Spatial-Adaptive Input Embedding} などが紹介されている。
多様なタスク、電極構成、シーケンス期間にわたる13のEEGデータセットの実験は、SAMBAが低いメモリ消費と推論時間を維持しながら、最先端の手法を一貫して上回っていることを示している。
組込みモジュールから得られた空間重量図は,タスク関連神経生理学的領域と密接に一致し,SAMBAの学習性と解釈可能性を示す。
これらの結果は,リアルタイム脳-コンピュータインタフェースアプリケーションの基礎モデルとしてのSAMBAのスケーラビリティと実用可能性を強調した。
関連論文リスト
- Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection [88.47928738482719]
線形状態空間モデル(SSM)は、シーケンスモデリングにおいて顕著なパフォーマンス向上を提供する。
Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装により、SSMをさらに強化している。
本稿では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRoM(Roing Mamba)を紹介する。
論文 参考訳（メタデータ） (2025-06-22T19:26:55Z) - CodeBrain: Towards Decoupled Interpretability and Multi-Scale Architecture for EEG Foundation Model [52.466542039411515]
EEGファウンデーションモデル(EFM)は、タスク固有のモデルのスケーラビリティ問題に対処するために登場した。
このギャップを埋めるために設計された2段階のEMFであるCodeBrainを紹介します。
第1段階では、異種時間・周波数の脳波信号を離散トークンに分解するTFDual-Tokenizerを導入する。
第2段階では、構造化されたグローバル畳み込みとスライディングウインドウの注意を結合したマルチスケールEEGSSMアーキテクチャを提案する。
論文 参考訳（メタデータ） (2025-06-10T17:20:39Z) - Mamba-Driven Topology Fusion for Monocular 3D Human Pose Estimation [41.14182025718559]
本研究では,マンバ駆動トポロジフュージョンによる3次元ポーズ推定手法を提案する。
具体的には,提案した骨認識モジュールは球面座標系における骨ベクトルの方向と長さを推定する。
また、シーケンス内の時間的関係と空間的関係の両方をモデル化する時空間リファインメントモジュールを設計する。
論文 参考訳（メタデータ） (2025-05-27T01:21:57Z) - STNMamba: Mamba-based Spatial-Temporal Normality Learning for Video Anomaly Detection [48.997518615379995]
ビデオ異常検出(VAD)は、インテリジェントなビデオシステムの可能性から広く研究されている。
CNNやトランスフォーマーをベースとした既存の手法の多くは、依然としてかなりの計算負荷に悩まされている。
空間的時間的正規性の学習を促進するために,STNMambaという軽量で効果的なネットワークを提案する。
論文 参考訳（メタデータ） (2024-12-28T08:49:23Z) - UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。
U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。
UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
論文 参考訳（メタデータ） (2024-10-15T04:56:43Z) - MambaVT: Spatio-Temporal Contextual Modeling for robust RGB-T Tracking [51.28485682954006]
本研究では,マンバをベースとした純フレームワーク(MambaVT)を提案する。
具体的には、長距離クロスフレーム統合コンポーネントを考案し、ターゲットの外観変化にグローバルに適応する。
実験では、RGB-TトラッキングのためのMambaのビジョンの可能性が示され、MambaVTは4つの主要なベンチマークで最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2024-08-15T02:29:00Z) - Mamba-Spike: Enhancing the Mamba Architecture with a Spiking Front-End for Efficient Temporal Data Processing [4.673285689826945]
Mamba-Spikeは、スパイクするフロントエンドとMambaのバックボーンを統合して、効率的な時間的データ処理を実現する新しいニューロモルフィックアーキテクチャである。
このアーキテクチャは、最先端のベースラインを一貫して上回り、高い精度、低いレイテンシ、エネルギー効率の向上を実現している。
論文 参考訳（メタデータ） (2024-08-04T14:10:33Z) - TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。
TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。
また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
論文 参考訳（メタデータ） (2024-05-27T05:45:51Z) - SPMamba: State-space model is all you need in speech separation [20.168153319805665]
CNNベースの音声分離モデルは、局所的な受容的場制限に直面し、長期間の依存関係を効果的にキャプチャできない。
本稿では,SPMambaという音声分離手法を提案する。
このモデルは、TF-GridNetアーキテクチャに基づいており、従来のBLSTMモジュールを双方向のMambaモジュールに置き換えている。
論文 参考訳（メタデータ） (2024-04-02T16:04:31Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-02-18T22:41:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。