論文の概要: EEGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training

• arxiv url: http://arxiv.org/abs/2410.19779v1
• Date: Mon, 14 Oct 2024 12:17:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-03 08:19:28.829731
• Title: EEGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training
• Title（参考訳）: EEGPT:自己回帰事前学習によるEEGジェネリストモデルの可能性
• Authors: Tongtian Yue, Shuning Xue, Xuange Gao, Yepeng Tang, Longteng Guo, Jie Jiang, Jing Liu,
• Abstract要約: EEGPTはこれらの課題に対処するために設計された最初の一般のEEG基盤モデルである。 まず,各電極を基本単位として扱う電極ワイド・モデリング手法を提案する。 第2に、最初の自己回帰型脳波事前学習モデルを開発する。 第3に,学習可能な電極グラフネットワークを用いたマルチタスク転送学習パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 9.57946371147345
• License:
• Abstract: Electroencephalogram (EEG) signals are pivotal in providing insights into spontaneous brain activity, highlighting their significant importance in neuroscience research. However, the exploration of versatile EEG models is constrained by diverse data formats, outdated pre-training paradigms, and limited transfer learning methods, only leading to specialist models on single dataset. In this paper, we introduce EEGPT, the first generalist EEG foundation model designed to address these challenges. First, we propose an electrode-wise modeling strategy that treats each electrode as a fundamental unit, enabling the integration of diverse EEG datasets collected from up to 138 electrodes, amassing 37.5M pre-training samples. Second, we develop the first autoregressive EEG pre-trained model, moving away from traditional masked autoencoder approaches to a next signal prediction task that better captures the sequential and temporal dependencies of EEG data. We also explore scaling laws with model up to 1.1B parameters: the largest in EEG research to date. Third, we introduce a multi-task transfer learning paradigm using a learnable electrode graph network shared across tasks, which for the first time confirms multi-task compatibility and synergy. As the first generalist EEG foundation model, EEGPT shows broad compatibility with various signal acquisition devices, subjects, and tasks. It supports up to 138 electrodes and any combination thereof as input. Furthermore, we simultaneously evaluate it on 5 distinct tasks across 12 benchmarks. EEGPT consistently outperforms existing specialist models across all downstream tasks, with its effectiveness further validated through extensive ablation studies. This work sets a new direction for generalist EEG modeling, offering improved scalability, transferability, and adaptability for a wide range of EEG applications. The code and models will be released.
• Abstract（参考訳）: 脳電図(EEG)信号は、自然脳活動の洞察を与える上で重要なものであり、神経科学研究においてその重要な重要性を浮き彫りにしている。 しかし、多目的脳波モデルの探索は、多様なデータフォーマット、古い事前訓練パラダイム、限られた転送学習手法によって制約されており、単一のデータセット上でのみ専門的なモデルに繋がる。 本稿では,これらの課題に対処するために考案された最初の一般EEG基盤モデルであるEEGPTを紹介する。 まず、各電極を基本単位として扱い、最大138個の電極から収集した多様な脳波データセットの統合を可能にし、37.5万個の事前学習サンプルを蓄積する電極ワイドモデリング戦略を提案する。 第2に、従来のマスク付きオートエンコーダアプローチから次の信号予測タスクに移行することで、脳波データの逐次的および時間的依存関係をより正確に把握する、最初の自己回帰型脳波事前学習モデルを開発する。 我々はまた、最大1.1Bパラメータのモデルによるスケーリング法則についても検討している。 第3に、タスク間で共有される学習可能な電極グラフネットワークを用いたマルチタスク転送学習パラダイムを導入し、マルチタスクの互換性と相乗効果を初めて確認する。 最初のジェネラリストEEGファウンデーションモデルとして、EEGPTは様々な信号取得装置、主題、タスクと幅広い互換性を示す。 最大138個の電極とそれらの組み合わせを入力として支持する。 さらに、12ベンチマークで5つの異なるタスクで同時に評価する。 EEGPTは、すべての下流タスクにおいて既存のスペシャリストモデルよりも一貫して優れており、その効果は広範なアブレーション研究によってさらに検証されている。 この作業は、拡張性、転送可能性、広範囲のEEGアプリケーションに対する適応性を改善した、ジェネラリストなEEGモデリングのための新しい方向性を定めている。 コードとモデルはリリースされる。

関連論文リスト

• FoME: A Foundation Model for EEG using Adaptive Temporal-Lateral Attention Scaling [19.85701025524892]
  FoME (Foundation Model for EEG) は適応的側方アテンションスケーリングを用いた新しいアプローチである。 FoMEは1.7TBの頭皮と頭蓋内脳波記録のデータセットで事前訓練されており、1,096kのステップで745Mのパラメータが訓練されている。
  論文  参考訳（メタデータ） (2024-09-19T04:22:40Z)
• EEGMamba: Bidirectional State Space Model with Mixture of Experts for EEG Multi-task Classification [1.4004287903552533]
  脳波アプリケーションのためのマルチタスク学習を真に実装した最初のユニバーサル脳波分類ネットワークであるEEGMambaを紹介する。 EEGMambaは、Spatio-Temporal-Adaptive (ST-Adaptive)モジュール、双方向のMamba、Mixture of Experts (MoE)をシームレスに統合したフレームワークに統合する。 本研究では,8つの公用EEGデータセットを用いてモデルの評価を行い,その性能を4種類のタスクで実証した。
  論文  参考訳（メタデータ） (2024-07-20T11:15:47Z)
• Geodesic Optimization for Predictive Shift Adaptation on EEG data [53.58711912565724]
  ドメイン適応メソッドは、$X$と$y$で分散シフトが同時に発生したときに苦労する。 本稿では,GOPSA(Geodesic Optimization for Predictive Shift Adaptation)と呼ばれる新しい手法を提案する。 GOPSAは、脳波のバイオメディカル応用のための混合効果モデリングと機械学習を併用する可能性を持っている。
  論文  参考訳（メタデータ） (2024-07-04T12:15:42Z)
• EEGFormer: Towards Transferable and Interpretable Large-Scale EEG Foundation Model [39.363511340878624]
  大規模複合脳波データに基づいて事前学習した脳波基礎モデル,すなわちEEGFormerを提案する。 本モデルの有効性を検証するため,様々な下流タスクにおいて広範囲に評価し,異なる転送条件下での性能を評価する。
  論文  参考訳（メタデータ） (2024-01-11T17:36:24Z)
• hvEEGNet: exploiting hierarchical VAEs on EEG data for neuroscience applications [3.031375888004876]
  脳波の既存のDLベースのモデリング手法に2つの課題がある。 被験者間の高いばらつきと低信号対雑音比は、脳波データの良好な品質を確保するのを困難にしている。 本稿では,高忠実度脳波再構成問題を対象とした2つの変分オートエンコーダモデル,すなわちvEEGNet-ver3とhvEEGNetを提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:36:31Z)
• Neuro-GPT: Towards A Foundation Model for EEG [0.04188114563181615]
  脳波エンコーダとGPTモデルからなる基礎モデルであるNeuro-GPTを提案する。 ファンデーションモデルは、マスクされたEEGセグメントの再構築方法を学ぶ自己教師付きタスクを使用して、大規模なデータセット上で事前訓練される。 基礎モデルを適用することで、スクラッチからトレーニングしたモデルと比較して、分類性能が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2023-11-07T07:07:18Z)
• Task-oriented Self-supervised Learning for Anomaly Detection in Electroencephalography [51.45515911920534]
  タスク指向型自己教師型学習手法を提案する。 大きなカーネルを持つ特定の2つの分岐畳み込みニューラルネットワークを特徴抽出器として設計する。 効果的に設計され、訓練された特徴抽出器は、より優れた特徴表現を脳波から抽出できることが示されている。
  論文  参考訳（メタデータ） (2022-07-04T13:15:08Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
  このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。 これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
  論文  参考訳（メタデータ） (2021-06-25T20:09:23Z)
• Adversarial Sample Enhanced Domain Adaptation: A Case Study on Predictive Modeling with Electronic Health Records [57.75125067744978]
  ドメイン適応を容易にするデータ拡張手法を提案する。 逆生成したサンプルはドメイン適応時に使用される。 その結果,本手法の有効性とタスクの一般性が確認された。
  論文  参考訳（メタデータ） (2021-01-13T03:20:20Z)
• Opportunities and Challenges of Deep Learning Methods for Electrocardiogram Data: A Systematic Review [62.490310870300746]
  心電図(Electrocardiogram、ECG)は、医学および医療において最も一般的に用いられる診断ツールの1つである。 深層学習法は心電図信号を用いた予測医療タスクにおいて有望な結果を得た。 本稿では、モデリングとアプリケーションの観点から、ECGデータに対するディープラーニング手法の体系的なレビューを行う。
  論文  参考訳（メタデータ） (2019-12-28T02:44:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。