論文の概要: EEGFormer: Towards Transferable and Interpretable Large-Scale EEG Foundation Model

• arxiv url: http://arxiv.org/abs/2401.10278v1
• Date: Thu, 11 Jan 2024 17:36:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-28 16:20:45.102702
• Title: EEGFormer: Towards Transferable and Interpretable Large-Scale EEG Foundation Model
• Title（参考訳）: EEGFormer: 転送可能で解釈可能な大規模EEGファンデーションモデルを目指して
• Authors: Yuqi Chen, Kan Ren, Kaitao Song, Yansen Wang, Yifan Wang, Dongsheng Li, Lili Qiu
• Abstract要約: 大規模複合脳波データに基づいて事前学習した脳波基礎モデル,すなわちEEGFormerを提案する。 本モデルの有効性を検証するため,様々な下流タスクにおいて広範囲に評価し,異なる転送条件下での性能を評価する。
• 参考スコア（独自算出の注目度）: 39.363511340878624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning has emerged as a highly effective approach in the fields of natural language processing and computer vision. It is also applicable to brain signals such as electroencephalography (EEG) data, given the abundance of available unlabeled data that exist in a wide spectrum of real-world medical applications ranging from seizure detection to wave analysis. The existing works leveraging self-supervised learning on EEG modeling mainly focus on pretraining upon each individual dataset corresponding to a single downstream task, which cannot leverage the power of abundant data, and they may derive sub-optimal solutions with a lack of generalization. Moreover, these methods rely on end-to-end model learning which is not easy for humans to understand. In this paper, we present a novel EEG foundation model, namely EEGFormer, pretrained on large-scale compound EEG data. The pretrained model cannot only learn universal representations on EEG signals with adaptable performance on various downstream tasks but also provide interpretable outcomes of the useful patterns within the data. To validate the effectiveness of our model, we extensively evaluate it on various downstream tasks and assess the performance under different transfer settings. Furthermore, we demonstrate how the learned model exhibits transferable anomaly detection performance and provides valuable interpretability of the acquired patterns via self-supervised learning.
• Abstract（参考訳）: 自己教師付き学習は、自然言語処理とコンピュータビジョンの分野において、非常に効果的なアプローチとして現れてきた。 また、脳波検査(EEG)データなどの脳信号にも適用でき、発作検出から波動解析まで幅広い現実世界の医療応用で利用可能なラベルのないデータが豊富に存在する。 既存の作業では、脳波モデリングの自己教師付き学習を主に、豊富なデータのパワーを活用できない単一の下流タスクに対応する個々のデータセットの事前トレーニングに焦点を当てており、一般化の欠如したサブ最適ソリューションを導出することができる。 さらに、これらの手法は、人間が容易に理解できないエンドツーエンドのモデル学習に依存している。 本稿では,大規模複合脳波データに基づく新しい脳波基礎モデル,すなわちEEGFormerを提案する。 事前学習されたモデルは、様々な下流タスクで適応可能な性能を持つ脳波信号の普遍表現を学習するだけでなく、データ内の有用なパターンの解釈可能な結果を提供する。 本モデルの有効性を検証するため,様々な下流タスクにおける性能評価を行い,異なる転送環境下での性能評価を行った。 さらに,学習モデルが伝達可能な異常検出性能を示すことを示し,自己教師付き学習による獲得パターンの解釈可能性を示す。

関連論文リスト

• Dataset Refinement for Improving the Generalization Ability of the EEG Decoding Model [2.9972387721489655]
  脳波データセットからノイズの多いデータを除去するデータセット改良アルゴリズムを提案する。 提案したアルゴリズムは、元のデータセットよりも優れた一般化性能を実現している。 脳波領域における深層学習モデルの一般化性能を効果的に向上させることができると結論付けた。
  論文  参考訳（メタデータ） (2024-10-31T05:08:24Z)
• EEGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training [9.57946371147345]
  EEGPTはこれらの課題に対処するために設計された最初の一般のEEG基盤モデルである。 まず,各電極を基本単位として扱う電極ワイド・モデリング手法を提案する。 第2に、最初の自己回帰型脳波事前学習モデルを開発する。 第3に,学習可能な電極グラフネットワークを用いたマルチタスク転送学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-14T12:17:54Z)
• Neuro-GPT: Towards A Foundation Model for EEG [0.04188114563181615]
  脳波エンコーダとGPTモデルからなる基礎モデルであるNeuro-GPTを提案する。 ファンデーションモデルは、マスクされたEEGセグメントの再構築方法を学ぶ自己教師付きタスクを使用して、大規模なデータセット上で事前訓練される。 基礎モデルを適用することで、スクラッチからトレーニングしたモデルと比較して、分類性能が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2023-11-07T07:07:18Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Exploiting Multiple EEG Data Domains with Adversarial Learning [20.878816519635304]
  この文脈でデータソース不変表現を学習するための逆推論手法を提案する。 異なる音源領域からの脳波記録(感情認識SEED, SEED-IV, DEAP, DREAMER)を統一する。
  論文  参考訳（メタデータ） (2022-04-16T11:09:20Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• BENDR: using transformers and a contrastive self-supervised learning task to learn from massive amounts of EEG data [15.71234837305808]
  言語モデリング(LM)の手法とアーキテクチャを脳波モデリング(EM)に適用する方法を検討する。 1つの事前学習モデルが、異なるハードウェアで記録された全く新しい生の脳波シーケンスをモデル化できることがわかった。 このモデルの内部表現とアーキテクチャ全体は、さまざまな下流のBCIおよびEEG分類タスクに微調整することができる。
  論文  参考訳（メタデータ） (2021-01-28T14:54:01Z)
• Uncovering the structure of clinical EEG signals with self-supervised learning [64.4754948595556]
  教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。 この現象は脳波(EEG)などの臨床関連データに特に問題となる。 ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
  論文  参考訳（メタデータ） (2020-07-31T14:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。