論文の概要: CBraMod: A Criss-Cross Brain Foundation Model for EEG Decoding

• arxiv url: http://arxiv.org/abs/2412.07236v2
• Date: Sun, 16 Feb 2025 04:05:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 17:33:46.561724
• Title: CBraMod: A Criss-Cross Brain Foundation Model for EEG Decoding
• Title（参考訳）: CBraMod: EEGデコーディングのためのCriss-Cross脳基盤モデル
• Authors: Jiquan Wang, Sha Zhao, Zhiling Luo, Yangxuan Zhou, Haiteng Jiang, Shijian Li, Tao Li, Gang Pan,
• Abstract要約: 初期のEEG復号法は教師付き学習に依存しており、特定のタスクやデータセットによって制限され、モデルの性能と一般化性を妨げる。 本稿では,空間的依存と時間的依存を別々にモデル化できるCBraModという新しい基礎モデルを提案する。 CBraModは、幅広いタスクにまたがって最先端のパフォーマンスを実現し、その強力な能力と一般化可能性を証明する。
• 参考スコア（独自算出の注目度）: 14.31166367978083
• License:
• Abstract: Electroencephalography (EEG) is a non-invasive technique to measure and record brain electrical activity, widely used in various BCI and healthcare applications. Early EEG decoding methods rely on supervised learning, limited by specific tasks and datasets, hindering model performance and generalizability. With the success of large language models, there is a growing body of studies focusing on EEG foundation models. However, these studies still leave challenges: Firstly, most of existing EEG foundation models employ full EEG modeling strategy. It models the spatial and temporal dependencies between all EEG patches together, but ignores that the spatial and temporal dependencies are heterogeneous due to the unique structural characteristics of EEG signals. Secondly, existing EEG foundation models have limited generalizability on a wide range of downstream BCI tasks due to varying formats of EEG data, making it challenging to adapt to. To address these challenges, we propose a novel foundation model called CBraMod. Specifically, we devise a criss-cross transformer as the backbone to thoroughly leverage the structural characteristics of EEG signals, which can model spatial and temporal dependencies separately through two parallel attention mechanisms. And we utilize an asymmetric conditional positional encoding scheme which can encode positional information of EEG patches and be easily adapted to the EEG with diverse formats. CBraMod is pre-trained on a very large corpus of EEG through patch-based masked EEG reconstruction. We evaluate CBraMod on up to 10 downstream BCI tasks (12 public datasets). CBraMod achieves the state-of-the-art performance across the wide range of tasks, proving its strong capability and generalizability. The source code is publicly available at https://github.com/wjq-learning/CBraMod.
• Abstract（参考訳）: 脳波検査(Electroencephalography、EEG)は、脳の電気活動を測定し記録するための非侵襲的手法であり、様々なBCIや医療用途で広く用いられている。 初期のEEG復号法は教師付き学習に依存しており、特定のタスクやデータセットによって制限され、モデルの性能と一般化性を妨げる。 大きな言語モデルの成功に伴い、EEG基盤モデルに焦点をあてる研究団体が増えている。 第一に、既存のEEGファンデーションモデルのほとんどは完全なEEGモデリング戦略を採用しています。 全ての脳波パッチ間の空間的および時間的依存関係をモデル化するが、脳波信号の独特の構造的特性のため、空間的および時間的依存関係が不均一であることは無視する。 第二に、既存のEEGファンデーションモデルでは、脳波データのフォーマットが異なるため、幅広い下流BCIタスクの一般化性が制限されているため、適応が困難である。 これらの課題に対処するため、我々はCBraModと呼ばれる新しい基礎モデルを提案する。 具体的には,2つの並列注意機構を通じて空間的および時間的依存関係を別々にモデル化できる脳波信号の構造特性を徹底的に活用するために,クリスクロス変換器をバックボーンとして考案する。 また、脳波パッチの位置情報をエンコードし、多様なフォーマットで容易に脳波に適応できる非対称な条件位置符号化方式を用いる。 CBraModはパッチベースのマスク付きEEG再構築を通じて、非常に大きなEEGコーパスで事前トレーニングされている。 CBraModを最大10の下流BCIタスク(12のパブリックデータセット)で評価する。 CBraModは、幅広いタスクにまたがって最先端のパフォーマンスを実現し、その強力な能力と一般化可能性を証明する。 ソースコードはhttps://github.com/wjq-learning/CBraModで公開されている。

関連論文リスト

• EEGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training [9.57946371147345]
  EEGPTはこれらの課題に対処するために設計された最初の一般のEEG基盤モデルである。 まず,各電極を基本単位として扱う電極ワイド・モデリング手法を提案する。 第2に、最初の自己回帰型脳波事前学習モデルを開発する。 第3に,学習可能な電極グラフネットワークを用いたマルチタスク転送学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-14T12:17:54Z)
• EEGMamba: Bidirectional State Space Model with Mixture of Experts for EEG Multi-task Classification [1.4004287903552533]
  脳波アプリケーションのためのマルチタスク学習を真に実装した最初のユニバーサル脳波分類ネットワークであるEEGMambaを紹介する。 EEGMambaは、Spatio-Temporal-Adaptive (ST-Adaptive)モジュール、双方向のMamba、Mixture of Experts (MoE)をシームレスに統合したフレームワークに統合する。 本研究では,8つの公用EEGデータセットを用いてモデルの評価を行い,その性能を4種類のタスクで実証した。
  論文  参考訳（メタデータ） (2024-07-20T11:15:47Z)
• Geodesic Optimization for Predictive Shift Adaptation on EEG data [53.58711912565724]
  ドメイン適応メソッドは、$X$と$y$で分散シフトが同時に発生したときに苦労する。 本稿では,GOPSA(Geodesic Optimization for Predictive Shift Adaptation)と呼ばれる新しい手法を提案する。 GOPSAは、脳波のバイオメディカル応用のための混合効果モデリングと機械学習を併用する可能性を持っている。
  論文  参考訳（メタデータ） (2024-07-04T12:15:42Z)
• Large Brain Model for Learning Generic Representations with Tremendous EEG Data in BCI [6.926908480247951]
  大型脳モデル(LaBraM)と呼ばれる脳波の統一基盤モデルを提案する。 LaBraMは、EEG信号をEEGチャネルパッチにセグメント化することで、データセット間の学習を可能にする。 次に、マスクされたEEGチャネルパッチの元のニューラルコードを予測することにより、ニューラルトランスフォーマーを事前訓練する。
  論文  参考訳（メタデータ） (2024-05-29T05:08:16Z)
• Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder [69.7813498468116]
  コントラスト型脳波テキストマスケード自動エンコーダ(CET-MAE)を提案する。 また、E2T-PTR(Pretrained Transferable Representationsを用いたEEG-to-Text decoding)と呼ばれるフレームワークを開発し、EEGシーケンスからテキストをデコードする。
  論文  参考訳（メタデータ） (2024-02-27T11:45:21Z)
• Neuro-GPT: Towards A Foundation Model for EEG [0.04188114563181615]
  脳波エンコーダとGPTモデルからなる基礎モデルであるNeuro-GPTを提案する。 ファンデーションモデルは、マスクされたEEGセグメントの再構築方法を学ぶ自己教師付きタスクを使用して、大規模なデータセット上で事前訓練される。 基礎モデルを適用することで、スクラッチからトレーニングしたモデルと比較して、分類性能が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2023-11-07T07:07:18Z)
• BENDR: using transformers and a contrastive self-supervised learning task to learn from massive amounts of EEG data [15.71234837305808]
  言語モデリング(LM)の手法とアーキテクチャを脳波モデリング(EM)に適用する方法を検討する。 1つの事前学習モデルが、異なるハードウェアで記録された全く新しい生の脳波シーケンスをモデル化できることがわかった。 このモデルの内部表現とアーキテクチャ全体は、さまざまな下流のBCIおよびEEG分類タスクに微調整することができる。
  論文  参考訳（メタデータ） (2021-01-28T14:54:01Z)
• EEG-Based Brain-Computer Interfaces Are Vulnerable to Backdoor Attacks [68.01125081367428]
  近年の研究では、機械学習アルゴリズムは敵攻撃に弱いことが示されている。 本稿では,脳波をベースとしたBCIの毒殺攻撃に狭周期パルスを用いることを提案する。
  論文  参考訳（メタデータ） (2020-10-30T20:49:42Z)
• Uncovering the structure of clinical EEG signals with self-supervised learning [64.4754948595556]
  教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。 この現象は脳波(EEG)などの臨床関連データに特に問題となる。 ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
  論文  参考訳（メタデータ） (2020-07-31T14:34:47Z)
• ECG-DelNet: Delineation of Ambulatory Electrocardiograms with Mixed Quality Labeling Using Neural Networks [69.25956542388653]
  ディープラーニング(DL)アルゴリズムは、学術的、産業的にも重くなっている。 セグメンテーションフレームワークにECGの検出とデライン化を組み込むことにより、低解釈タスクにDLをうまく適用できることを実証する。 このモデルは、PhyloNetのQTデータベースを使用して、105個の増幅ECG記録から訓練された。
  論文  参考訳（メタデータ） (2020-05-11T16:29:12Z)
• Deep transfer learning for improving single-EEG arousal detection [63.52264764099532]
  2つのデータセットは、単一のEEGモデルでパフォーマンスが低下する原因となる、まったく同じ設定を含んでいない。 単チャンネル脳波データのためのアーキテクチャを構築するために,ベースラインモデルをトレーニングし,最初の2層を置き換える。 細調整戦略を用いて,本モデルはベースラインモデルと同等の性能を示し,同等の単一チャネルモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-10T16:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。