論文の概要: CodeBrain: Bridging Decoupled Tokenizer and Multi-Scale Architecture for EEG Foundation Model

• arxiv url: http://arxiv.org/abs/2506.09110v1
• Date: Tue, 10 Jun 2025 17:20:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:01.796138
• Title: CodeBrain: Bridging Decoupled Tokenizer and Multi-Scale Architecture for EEG Foundation Model
• Title（参考訳）: CodeBrain:EEGファウンデーションモデルのための非結合型トケナイザとマルチスケールアーキテクチャ
• Authors: Jingying Ma, Feng Wu, Qika Lin, Yucheng Xing, Chenyu Liu, Ziyu Jia, Mengling Feng,
• Abstract要約: EEGファンデーションモデルは、マルチスケールの脳依存を捉える上で、限られた異種表現能力と非効率性に苦しむ。 我々は,脳組織に適応した効率的なEMFであるCodeBrainを2段階の訓練で提案する。 EEGSSMは、構造化されたグローバルな畳み込みアーキテクチャとスライディングウィンドウアテンション機構を組み合わせて、スパースな長距離および局所的な依存関係を共同でモデル化する。
• 参考スコア（独自算出の注目度）: 33.550819280074826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Electroencephalography (EEG) provides real-time insights into brain activity and is widely used in neuroscience. However, variations in channel configurations, sequence lengths, and task objectives limit the transferability of traditional task-specific models. Although recent EEG foundation models (EFMs) aim to learn generalizable representations, they struggle with limited heterogeneous representation capacity and inefficiency in capturing multi-scale brain dependencies. To address these challenges, we propose CodeBrain, an efficient EFM structurally aligned with brain organization, trained in two stages. (1) We introduce a TFDual-Tokenizer that independently tokenizes heterogeneous temporal and frequency components, enabling a quadratic expansion of the discrete representation space. This also offers a degree of interpretability through cross-domain token analysis. (2) We propose the EEGSSM, which combines a structured global convolution architecture and a sliding window attention mechanism to jointly model sparse long-range and local dependencies. Unlike fully connected Transformer models, EEGSSM better reflects the brain's small-world topology and efficiently captures EEG's inherent multi-scale structure. EEGSSM is trained with a masked self-supervised learning objective to predict token indices obtained in TFDual-Tokenizer. Comprehensive experiments on 10 public EEG datasets demonstrate the generalizability of CodeBrain with linear probing. By offering biologically informed and interpretable EEG modeling, CodeBrain lays the foundation for future neuroscience research. Both code and pretraining weights will be released in the future version.
• Abstract（参考訳）: 脳波(EEG)は脳活動のリアルタイムな洞察を与え、神経科学で広く用いられている。 しかし、チャンネル構成、シーケンス長、タスク目的のバリエーションは、従来のタスク固有のモデルの転送可能性を制限する。 最近の脳波基礎モデル(EFM)は、一般化可能な表現を学習することを目的としているが、多スケールの脳依存を捉えるのに、限られた異種表現能力と非効率で苦労している。 これらの課題に対処するため、我々は2段階の訓練を施した効率的なEMFであるCodeBrainを提案する。 1)異種時間成分と周波数成分を独立にトークン化するTFDual-Tokenizerを導入し,離散表現空間の二次展開を可能にする。 また、クロスドメイントークン分析による解釈可能性も提供する。 2) 構造化された大域的畳み込みアーキテクチャとスライディングウィンドウアテンション機構を組み合わせたEEGSSMを提案する。 完全に接続されたトランスフォーマーモデルとは異なり、EEGSSMは脳の小さな世界のトポロジーをよりよく反映し、EEG固有のマルチスケール構造を効率的に捉える。 EEGSSMは、TFDual-Tokenizerで得られたトークン指標を予測するために、マスク付き自己教師型学習目標を用いて訓練される。 10のパブリックEEGデータセットに関する総合的な実験は、線形プローブによるCodeBrainの一般化性を実証している。 生物学的に認知され、解釈可能な脳波モデリングを提供することで、CodeBrainは将来の神経科学研究の基礎を築いた。 コードと事前トレーニングの重み付けは、将来のバージョンでリリースされる予定だ。

関連論文リスト

• BrainOmni: A Brain Foundation Model for Unified EEG and MEG Signals [50.76802709706976]
  異種脳波とMEG記録を対象とする脳基礎モデルBrain Omniを提案する。 多様なデータソースを統一するために、脳の活動を離散表現に定量化する最初のトークンであるBrainTokenizerを紹介します。 EEGの合計1,997時間、MEGデータの656時間は、事前トレーニングのために公開されているソースからキュレーションされ、標準化されている。
  論文  参考訳（メタデータ） (2025-05-18T14:07:14Z)
• Large Cognition Model: Towards Pretrained EEG Foundation Model [0.0]
  多様な脳波データセットと下流タスクをまたいだ一般化を目的としたトランスフォーマーベース基盤モデルを提案する。 本研究は, 神経科学, パーソナライズドメディカル, およびBCI技術の進歩を促進するための, 事前学習型脳波基盤モデルの可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-02-11T04:28:10Z)
• NeuroLM: A Universal Multi-task Foundation Model for Bridging the Gap between Language and EEG Signals [21.363722751437066]
  我々は,脳波を外国語として扱うことで,Large Language Models (LLMs) の機能を活用する,最初のマルチタスク基盤モデルであるNeuroLMを提案する。 我々のアプローチは、脳波信号を離散的な神経トークンにエンコードするベクトル量子化された時間周波数予測を通じて、テキスト整列型ニューラルトークンを学習することから始まります。 我々は、LLMを具体化することによって、NeuroLMは命令チューニングによって単一のモデル内で多様な脳波タスクを統合できることを初めて実証した。
  論文  参考訳（メタデータ） (2024-08-27T12:07:09Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• EEG-Deformer: A Dense Convolutional Transformer for Brain-computer Interfaces [17.524441950422627]
  本稿では,CNN-Transformerに2つの新しいコンポーネントを組み込んだEEG-Deformerを紹介する。 EEG-Deformerは神経生理学的に意味のある脳領域から学習し、対応する認知タスクを学習する。
  論文  参考訳（メタデータ） (2024-04-25T18:00:46Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• A Knowledge-Driven Cross-view Contrastive Learning for EEG Representation [48.85731427874065]
  本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。 KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。 ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
  論文  参考訳（メタデータ） (2023-09-21T08:53:51Z)
• fMRI from EEG is only Deep Learning away: the use of interpretable DL to unravel EEG-fMRI relationships [68.8204255655161]
  多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。 我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
  論文  参考訳（メタデータ） (2022-10-23T15:11:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。