論文の概要: FoME: A Foundation Model for EEG using Adaptive Temporal-Lateral Attention Scaling

• arxiv url: http://arxiv.org/abs/2409.12454v1
• Date: Thu, 19 Sep 2024 04:22:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 14:52:37.407704
• Title: FoME: A Foundation Model for EEG using Adaptive Temporal-Lateral Attention Scaling
• Title（参考訳）: FoME:Adaptive Temporal-Lateral Attention Scalingを用いた脳波基礎モデル
• Authors: Enze Shi, Kui Zhao, Qilong Yuan, Jiaqi Wang, Huawen Hu, Sigang Yu, Shu Zhang,
• Abstract要約: FoME (Foundation Model for EEG) は適応的側方アテンションスケーリングを用いた新しいアプローチである。 FoMEは1.7TBの頭皮と頭蓋内脳波記録のデータセットで事前訓練されており、1,096kのステップで745Mのパラメータが訓練されている。
• 参考スコア（独自算出の注目度）: 19.85701025524892
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Electroencephalography (EEG) is a vital tool to measure and record brain activity in neuroscience and clinical applications, yet its potential is constrained by signal heterogeneity, low signal-to-noise ratios, and limited labeled datasets. In this paper, we propose FoME (Foundation Model for EEG), a novel approach using adaptive temporal-lateral attention scaling to address above-mentioned challenges. FoME is pre-trained on a diverse 1.7TB dataset of scalp and intracranial EEG recordings, comprising 745M parameters trained for 1,096k steps. Our model introduces two key innovations: a time-frequency fusion embedding technique and an adaptive time-lateral attention scaling (ATLAS) mechanism. These components synergistically capture complex temporal and spectral EEG dynamics, enabling FoME to adapt to varying patterns across diverse data streams and facilitate robust multi-channel modeling. Evaluations across four downstream tasks demonstrate FoME's superior performance in classification and forecasting applications, consistently achieving state-of-the-art results. To conclude, FoME establishes a new paradigm for EEG analysis, offering a versatile foundation that advances brain-computer interfaces, clinical diagnostics, and cognitive research across neuroscience and related fields. Our code will be available at https://github.com/1061413241/FoME.
• Abstract（参考訳）: 脳波検査(EEG)は神経科学および臨床応用における脳活動の測定と記録に欠かせないツールであるが、そのポテンシャルは信号の不均一性、低信号-雑音比、ラベル付きデータセットによって制限されている。 本稿では,適応的時間的アテンションスケーリングを用いた新たなアプローチであるFoME(Foundation Model for EEG)を提案する。 FoMEは1.7TBの頭皮と頭蓋内脳波記録のデータセットで事前訓練されており、1,096kのステップで745Mのパラメータが訓練されている。 本モデルでは,時間周波数融合埋込み技術と適応型時間側アテンションスケーリング(ATLAS)機構の2つの重要なイノベーションを紹介する。 これらのコンポーネントは相乗的に複雑な時間的およびスペクトル脳波のダイナミクスを捉え、FoMEは多様なデータストリームにまたがる様々なパターンに適応し、堅牢なマルチチャネルモデリングを容易にする。 4つの下流タスクに対する評価は、FoMEの分類と予測アプリケーションにおける優れた性能を示し、一貫して最先端の結果が得られている。 結論として、FoMEは脳波分析の新しいパラダイムを確立し、脳-コンピュータインターフェース、臨床診断、神経科学および関連する分野における認知研究を進化させる汎用的な基盤を提供する。 私たちのコードはhttps://github.com/1061413241/FoME.comで公開されます。

関連論文リスト

• CEReBrO: Compact Encoder for Representations of Brain Oscillations Using Efficient Alternating Attention [53.539020807256904]
  交互注意(CEReBrO)を用いた脳振動の表現のための圧縮法について紹介する。 トークン化方式は、チャネルごとのパッチで脳波信号を表現します。 本研究では,チャネル内時間的ダイナミックスとチャネル間空間的相関を共同でモデル化し,通常の自己アテンションに比べて6倍少ないメモリで2倍の速度向上を実現するための注意機構を提案する。
  論文  参考訳（メタデータ） (2025-01-18T21:44:38Z)
• Enhancing EEG Signal Generation through a Hybrid Approach Integrating Reinforcement Learning and Diffusion Models [6.102274021710727]
  本研究では、拡散モデルと強化学習を統合することにより、脳波(EEG)信号の合成に革新的なアプローチを導入する。 提案手法は, 時間的・スペクトル的特徴の詳細な脳波信号の生成を促進させ, 合成データセットの信頼性と多様性を向上する。
  論文  参考訳（メタデータ） (2024-09-14T07:22:31Z)
• RISE-iEEG: Robust to Inter-Subject Electrodes Implantation Variability iEEG Classifier [0.0]
  RISE-iEEGはRobust Inter-Subject Electrode implantation Variability iEEGの略である。 iEEGデコーダモデルを開発し,各患者に電極の座標を必要とせずに複数の患者のデータに適用した。 分析の結果, RISE-iEEG は HTNet や EEGNet よりも F1 よりも10%高い値を示した。
  論文  参考訳（メタデータ） (2024-08-12T18:33:19Z)
• EEG-SSM: Leveraging State-Space Model for Dementia Detection [21.67998806043568]
  ステートスペースモデル(SSM)は、長いデータシーケンスを効果的に処理するために注目を集めている。 本研究では,脳波データを用いた認知症分類のための状態空間モデルに基づく新しいアプローチであるEEG-SSMを紹介する。
  論文  参考訳（メタデータ） (2024-07-25T06:20:03Z)
• REST: Efficient and Accelerated EEG Seizure Analysis through Residual State Updates [54.96885726053036]
  本稿では,リアルタイム脳波信号解析のための新しいグラフベース残状態更新機構(REST)を提案する。 グラフニューラルネットワークとリカレント構造の組み合わせを活用することで、RESTは、非ユークリッド幾何学とEEGデータ内の時間的依存関係の両方を効率的にキャプチャする。 本モデルは,発作検出と分類作業において高い精度を示す。
  論文  参考訳（メタデータ） (2024-06-03T16:30:19Z)
• fMRI from EEG is only Deep Learning away: the use of interpretable DL to unravel EEG-fMRI relationships [68.8204255655161]
  多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。 我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
  論文  参考訳（メタデータ） (2022-10-23T15:11:37Z)
• DriPP: Driven Point Processes to Model Stimuli Induced Patterns in M/EEG Signals [62.997667081978825]
  我々はDriPPと呼ばれる新しい統計点過程モデルを開発する。 我々は、このモデルのパラメータを推定するために、高速で原理化された予測最大化(EM)アルゴリズムを導出する。 標準MEGデータセットの結果から,我々の手法が事象関連ニューラルレスポンスを明らかにすることが示された。
  論文  参考訳（メタデータ） (2021-12-08T13:07:21Z)
• A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
  このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。 これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
  論文  参考訳（メタデータ） (2021-06-25T20:09:23Z)
• Generative Autoencoder Kernels on Deep Learning for Brain Activity Analysis [3.04585143845864]
  HessELM-AE (Hessenberg decomposition-based ELM autoencoder) は、入力データの異なる表示を生成する新しいカーネルである。 本研究の目的は、脳卒中患者の脳波(EEG)に対する臨床的有用性のための新しいDeep AEカーネルの性能を分析することである。
  論文  参考訳（メタデータ） (2021-01-21T08:19:47Z)
• Statistical control for spatio-temporal MEG/EEG source imaging with desparsified multi-task Lasso [102.84915019938413]
  脳磁図(MEG)や脳電図(EEG)のような非侵襲的手法は、非侵襲的手法を約束する。 ソースローカライゼーション(ソースイメージング)の問題は、しかしながら、高次元の統計的推測問題を引き起こす。 この問題に対処するために,分離されたマルチタスクラッソ(ecd-MTLasso)のアンサンブルを提案する。
  論文  参考訳（メタデータ） (2020-09-29T21:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。