論文の概要: FEMBA on the Edge: Physiologically-Aware Pre-Training, Quantization, and Deployment of a Bidirectional Mamba EEG Foundation Model on an Ultra-low Power Microcontroller

• arxiv url: http://arxiv.org/abs/2603.26716v1
• Date: Wed, 18 Mar 2026 13:23:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:13.10197
• Title: FEMBA on the Edge: Physiologically-Aware Pre-Training, Quantization, and Deployment of a Bidirectional Mamba EEG Foundation Model on an Ultra-low Power Microcontroller
• Title（参考訳）: エッジ上のFEMBA:超低出力マイクロコントローラにおける双方向マンバ脳波モデルの構築,量子化,展開
• Authors: Anna Tegon, Nicholas Lehmann, Yawei Li, Andrea Cossettini, Luca Benini, Thorir Mar Ingolfsson,
• Abstract要約: 脳波の21,000時間以上で事前トレーニングされた双方向のマンバアーキテクチャであるFEMBAを提案する。 低域通過フィルタリングによる再構成を含む,生理的事前学習の新たな目標を提案する。 我々は、モデルを2ビットの重みに圧縮するために量子化アウェアトレーニング(QAT)を用いる。
• 参考スコア（独自算出の注目度）: 13.961569964076451
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Objective: To enable continuous, long-term neuro-monitoring on wearable devices by overcoming the computational bottlenecks of Transformer-based Electroencephalography (EEG) foundation models and the quantization challenges inherent to State-Space Models (SSMs). Methods: We present FEMBA, a bidirectional Mamba architecture pre-trained on over 21,000 hours of EEG. We introduce a novel Physiologically-Aware pre-training objective, consisting of a reconstruction with low-pass filtering, to prioritize neural oscillations over high-frequency artifacts. To address the activation outliers common in SSMs, we employ Quantization-Aware Training (QAT) to compress the model to 2-bit weights. The framework is deployed on a parallel ultra-low-power RISC-V microcontroller (GAP9) using a custom double-buffered memory streaming scheme. Results: The proposed low-pass pre-training improves downstream AUROC on TUAB from 0.863 to 0.893 and AUPR from 0.862 to 0.898 compared to the best contrastive baseline. QAT successfully compresses weights with negligible performance loss, whereas standard post-training quantization degrades accuracy by approximately \textbf{30\%}. The embedded implementation achieves deterministic real-time inference (\textbf{1.70~s} per 5~s window) and reduces the memory footprint by \textbf{74\%} (to $\approx$2~MB), achieving competitive accuracy with up to \textbf{27$\times$} fewer FLOPs than Transformer benchmarks. Conclusion: FEMBA demonstrates that Mamba-based foundation models can be effectively quantized and deployed on extreme-edge hardware without sacrificing the representation quality required for robust clinical analysis. Significance: This work establishes the first full-stack framework for deploying large-scale EEG foundation models on ultra-low-power wearables, facilitating continuous, SSM based monitoring for epilepsy and sleep disorders.
• Abstract（参考訳）: 目的:トランスフォーマーベースの脳波基礎モデル(EEG)の計算的ボトルネックと、状態空間モデル(SSM)に固有の量子化課題を克服し、ウェアラブルデバイス上での長期の神経モニタリングを可能にする。 方法:脳波の21,000時間以上で事前トレーニングされた双方向のMambaアーキテクチャであるFEMBAを提案する。 本稿では,高頻度人工物よりも神経の発振を優先するために,低域フィルタリングによる再構成を取り入れた新しい生理的事前学習手法を提案する。 SSMに共通するアクティベーションアウトレイジに対処するため,2ビット重みまでモデルを圧縮するためにQAT(Quantization-Aware Training)を用いる。 このフレームワークは、カスタムのダブルバッファメモリストリーミングスキームを使用して、並列超低消費電力RISC-Vマイクロコントローラ(GAP9)上にデプロイされる。 結果: 提案した低域事前学習は, TUABのAUROCを0.863から0.893に, AUPRを0.862から0.898に改善する。 QATは性能損失を無視して重みを圧縮することに成功し、通常のポストトレーニング量子化は、約 \textbf{30\%} の精度を低下させる。 組込み実装は、決定論的リアルタイム推論(5~sウィンドウ毎の\textbf{1.70~s})を実現し、メモリフットプリントを \textbf{74\%} ($\approx$2~MB) に減らし、最大で \textbf{27$\times$} の FLOP を Transformer ベンチマークより少なくする。 結論: FEMBAは、マンバをベースとした基礎モデルを、堅牢な臨床分析に必要な表現品質を犠牲にすることなく、効果的に定量化し、極端エッジハードウェアに展開できることを示した。 意義:この研究は、超低消費電力ウェアラブルに大規模なEEG基盤モデルをデプロイするための最初のフルスタックフレームワークを確立し、てんかんや睡眠障害に対する継続的なSSMベースのモニタリングを容易にする。

関連論文リスト

• LuMamba: Latent Unified Mamba for Electrode Topology-Invariant and Efficient EEG Modeling [14.663411219312827]
  textbfLuMamba(textbfLatent textbfUnified textbfMamba)を提案する。 わずか4.6Mのパラメータで、ルマンバはTUABで80.99%の精度を達成し、アルツハイマーの検出で最先端の性能を達成する。
  論文  参考訳（メタデータ） (2026-03-19T16:26:11Z)
• SCALE:Scalable Conditional Atlas-Level Endpoint transport for virtual cell perturbation prediction [46.645872209565574]
  仮想セル摂動予測のための大規模基盤モデルを提案する。 まず、データスループットを大幅に改善するBioNeMoベースのトレーニングおよび推論フレームワークを構築します。 第二に、摂動予測を条件付き輸送として定式化し、それをセットアウェアフローアーキテクチャで実装する。 第3に,生物学的に有意な指標に基づく厳密なセルレベルプロトコルを用いて,Tahoe-100Mのモデルを評価する。
  論文  参考訳（メタデータ） (2026-03-18T05:51:08Z)
• From Evaluation to Design: Using Potential Energy Surface Smoothness Metrics to Guide Machine Learning Interatomic Potential Architectures [12.68400434984463]
  MLIPは量子ポテンシャルエネルギー表面の物理的滑らかさを再現することができない。 マイクロカノニカル分子動力学のような既存の評価は計算に高価であり、主に近平衡状態を研究する。 MLIPの評価基準を改善するためにBSCT(Band Smoothness Characterization Test)を導入する。
  論文  参考訳（メタデータ） (2026-02-04T18:50:10Z)
• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• Adaptive Gate-Aware Mamba Networks for Magnetic Resonance Fingerprinting [8.673589204148115]
  MRF(MR Resonance Fingerprinting)は、信号の進化を予め定義された辞書に合わせることで高速な定量的イメージングを可能にする。 最近の研究は、DMに代わるディープラーニングベースのアプローチを探求している。 両MambaベースのエンコーダとGAST(Gate-Aware Spatial-Temporal)プロセッサを組み合わせたエンドツーエンドフレームワークであるGAST-Mambaを提案する。
  論文  参考訳（メタデータ） (2025-07-04T08:04:01Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• FEMBA: Efficient and Scalable EEG Analysis with a Bidirectional Mamba Foundation Model [14.663411219312827]
  本稿では,脳波分析のための新たな自己組織化フレームワークであるFEMBA(Foundational EEG Mamba + Bidirectional Architecture)を紹介する。 2次時間とメモリの複雑さが原因のTransformerベースのモデルとは異なり、FEMBAはシーケンス長と線形にスケールする。 トランスモデルと比較して競争性能が向上し、計算コストは大幅に低下する。
  論文  参考訳（メタデータ） (2025-02-10T13:15:52Z)
• A2Q: Accumulator-Aware Quantization with Guaranteed Overflow Avoidance [49.1574468325115]
  accumulator-aware Quantization (A2Q)は、量子化されたニューラルネットワーク(QNN)をトレーニングして、推論時のオーバーフローを回避するために設計された新しい重み量子化手法である。 A2Qは重み正規化にインスパイアされたユニークな定式化を導入し、アキュミュレータビット幅境界に従ってモデルの重みのL1ノルムを制約する。 A2Qは浮動小数点ベースラインと競合するモデルの精度を維持しつつ、低精度のアキュムレータのためのQNNを訓練できることを示す。
  論文  参考訳（メタデータ） (2023-08-25T17:28:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。