論文の概要: LuMamba: Latent Unified Mamba for Electrode Topology-Invariant and Efficient EEG Modeling
- arxiv url: http://arxiv.org/abs/2603.19100v1
- Date: Thu, 19 Mar 2026 16:26:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-20 17:19:06.264585
- Title: LuMamba: Latent Unified Mamba for Electrode Topology-Invariant and Efficient EEG Modeling
- Title(参考訳): LuMamba: 電極トポロジー不変かつ効率的な脳波モデリングのための潜在統一マンバ
- Authors: Danaé Broustail, Anna Tegon, Thorir Mar Ingolfsson, Yawei Li, Luca Benini,
- Abstract要約: textbfLuMamba(textbfLatent textbfUnified textbfMamba)を提案する。
わずか4.6Mのパラメータで、ルマンバはTUABで80.99%の精度を達成し、アルツハイマーの検出で最先端の性能を達成する。
- 参考スコア(独自算出の注目度): 14.663411219312827
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Electroencephalography (EEG) enables non-invasive monitoring of brain activity across clinical and neurotechnology applications, yet building foundation models for EEG remains challenging due to \emph{differing electrode topologies} and \emph{computational scalability}, as Transformer architectures incur quadratic sequence complexity. As a joint solution, we propose \textbf{LuMamba} (\textbf{L}atent \textbf{U}nified \textbf{Mamba}), a self-supervised framework combining topology-invariant encodings with linear-complexity state-space modeling, using LUNA's learned-query cross-attention mechanism for channel unification~\cite{luna}, and FEMBA's bidirectional Mamba blocks for efficient temporal modeling~\cite{femba}. Within this architecture, we provide the first systematic investigation of the Latent-Euclidean Joint-Embedding Predictive Architecture (LeJEPA) for biosignal learning. Pre-trained on over 21,000 hours of unlabeled EEG from the TUEG corpus, LuMamba is evaluated on five downstream tasks spanning abnormality detection, artifact recognition, and mental condition classification across electrode configurations ranging from 16 to 26 channels. In the pre-training objective, masked reconstruction alone yields structured but less generalizable representations, while LeJEPA alone produces diffuse embeddings; combining both objectives achieves the most robust performance. With only 4.6M parameters, LuMamba attains 80.99\% balanced accuracy on TUAB and achieves state-of-art performance on Alzheimer's detection (0.97 AUPR), while requiring \textbf{377$\times$ fewer FLOPS} than state-of-art models at equivalent sequence lengths and scaling to \textbf{12$\times$ longer sequences} before reaching typical GPU memory limits. Code is available at https://github.com/pulp-bio/biofoundation
- Abstract(参考訳): 脳波検査(EEG)は脳活動の非侵襲的なモニタリングを可能にするが、脳波の基礎モデルの構築は、トランスフォーマーアーキテクチャーが2次シーケンスの複雑さを正確に抱えているため、'emph{differing electrode topologies} と 'emph{computational scalability} により困難である。
共同解として,LuMamba (\textbf{L}atent \textbf{U}nified \textbf{Mamba}) という,位相不変エンコーディングと線形複雑状態空間モデリングを組み合わせた自己教師型フレームワークを提案する。
このアーキテクチャでは,生物信号学習のための潜在ユークリッド合同予測アーキテクチャ (LeJEPA) を初めて体系的に調査する。
TUEGコーパスから21,000時間以上の未ラベル脳波を事前訓練し、異常検出、アーティファクト認識、および16チャンネルから26チャンネルにわたる電極構成にわたる精神状態の分類を含む5つの下流タスクについて、LuMambaの評価を行った。
事前学習の目的において、マスク付き再構成だけでは構造化されているが、より一般化不可能な表現が得られ、一方、LeJEPAだけでは拡散埋め込みが生成され、両方の目的を組み合わせることで最も堅牢なパフォーマンスが達成される。
わずか4.6Mのパラメータだけで、LuMambaはTUAB上で80.99\%の精度を達成し、典型的なGPUメモリ限界に達する前に、同等のシーケンス長の最先端モデルよりも、最先端のパフォーマンスをアルツハイマーの検出(0.97 AUPR)で達成した。
コードはhttps://github.com/pulp-bio/biofoundationで入手できる。
関連論文リスト
- SAMBA: Toward a Long-Context EEG Foundation Model via Spatial Embedding and Differential Mamba [2.1232375739287006]
脳波(EEG)モデリングは、一般化可能な脳波表現モデルの開発に不可欠である。
我々は,マンバをベースとしたU字型エンコーダデコーダアーキテクチャを用いた自己教師型学習フレームワークであるtextitSAMBAを提案する。
SAMBAは、メモリ消費と推論時間を維持しながら、最先端の手法を一貫して上回ることを示す。
論文 参考訳(メタデータ) (2025-11-23T18:31:18Z) - LUNA: Efficient and Topology-Agnostic Foundation Model for EEG Signal Analysis [16.431555478831143]
我々は、異なる電極ジオメトリを再構成する自己教師型基礎モデルLUNAを紹介する。
ルナは多チャンネルのEEGを固定サイズのトポロジーに依存しない潜在空間に圧縮する。
Lunaは、異常検出、アーティファクトの拒絶、分類の遅く、感情認識という4つの下流タスクに効果的に移行する。
論文 参考訳(メタデータ) (2025-10-25T11:31:27Z) - Bidirectional Representations Augmented Autoregressive Biological Sequence Generation:Application in De Novo Peptide Sequencing [51.12821379640881]
自己回帰(AR)モデルは、全体的な双方向表現を提供するが、生成的コヒーレンスとスケーラビリティに関する課題に直面している。
非自己回帰機構からリッチなコンテキスト情報を動的に統合することにより、AR生成を向上するハイブリッドフレームワークを提案する。
新しいクロスデコーダアテンションモジュールにより、ARデコーダは、これらの双方向機能を反復的にクエリし、統合することができる。
論文 参考訳(メタデータ) (2025-10-09T12:52:55Z) - Trained Mamba Emulates Online Gradient Descent in In-Context Linear Regression [90.93281146423378]
Mambaは、Long-Sequence Modelingのための線形複雑性を持つ効率的なTransformer代替品である。
最近の実証研究は、Mambaのテキスト内学習(ICL)がTransformersと競合していることを示している。
本稿では,線形回帰 ICL タスクにおける Mamba のトレーニングダイナミクスについて検討する。
論文 参考訳(メタデータ) (2025-09-28T09:48:49Z) - CodeBrain: Towards Decoupled Interpretability and Multi-Scale Architecture for EEG Foundation Model [52.466542039411515]
EEGファウンデーションモデル(EFM)は、タスク固有のモデルのスケーラビリティ問題に対処するために登場した。
このギャップを埋めるために設計された2段階のEMFであるCodeBrainを紹介します。
第1段階では、異種時間・周波数の脳波信号を離散トークンに分解するTFDual-Tokenizerを導入する。
第2段階では、構造化されたグローバル畳み込みとスライディングウインドウの注意を結合したマルチスケールEEGSSMアーキテクチャを提案する。
論文 参考訳(メタデータ) (2025-06-10T17:20:39Z) - BriLLM: Brain-inspired Large Language Model [40.47939901030644]
BriLLMは、機械学習の基礎を再定義する、脳にインスパイアされた大きな言語モデルである。
BriLLMは2つの重要な神経認知原理を取り入れている。(1) 静的な意味マッピング、(2) トークンは皮質領域に類似した特定のノードにマッピングされ、(2) 脳活動で観察される電気生理学的情報ダイナミクスをシミュレートする動的信号伝達である。
このアーキテクチャは、自然なマルチモーダル互換性、ノードレベルでの完全なモデル解釈可能性、コンテキスト長の独立スケーリング、言語タスクのための脳に似た情報処理のグローバルなシミュレーションなど、複数の革新的なブレークスルーを可能にする。
論文 参考訳(メタデータ) (2025-03-14T11:08:30Z) - An Efficient Self-Supervised Framework for Long-Sequence EEG Modeling [2.1232375739287006]
脳波表現学習のための自己教師型フレームワークであるEEGM2を提案する。
EEGM2は、ショートシーケンスとロングシーケンスの両方のモデリングと分類において最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-02-25T05:57:56Z) - FEMBA: Efficient and Scalable EEG Analysis with a Bidirectional Mamba Foundation Model [14.663411219312827]
本稿では,脳波分析のための新たな自己組織化フレームワークであるFEMBA(Foundational EEG Mamba + Bidirectional Architecture)を紹介する。
2次時間とメモリの複雑さが原因のTransformerベースのモデルとは異なり、FEMBAはシーケンス長と線形にスケールする。
トランスモデルと比較して競争性能が向上し、計算コストは大幅に低下する。
論文 参考訳(メタデータ) (2025-02-10T13:15:52Z) - SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。
SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。
以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2024-08-21T09:12:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。