論文の概要: CoCoT-EEG: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding

• arxiv url: http://arxiv.org/abs/2607.09543v1
• Date: Fri, 10 Jul 2026 15:48:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.896609
• Title: CoCoT-EEG: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding
• Title（参考訳）: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding
• Authors: Gabriel Mahuas, Victoria Shevchenko, Ugo Tanielian, Yassir Bendou, Richard Gao,
• Abstract要約: マルチスケールの時間的畳み込み入力層とトランスフォーマーエンコーダブロック(CoCoT)を備えた新しいコントラスト型EEGモデルを開発する。 CoCoTは、異種電極構成を持つ広範囲なベンチマークデコードタスクにおいて、最先端の再構築済みのEEGモデルと一致または打ち勝つ。 脳波FM構築におけるコントラスト学習の実現可能性を示すとともに,重要な設計上の考慮事項を示唆する。
• 参考スコア（独自算出の注目度）: 5.179334032083694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised pretrained foundation models (FM) have shown early promise for non-invasive electroencephalogram (EEG) decoding applications. Many recent large-scale models converged on the approach of tokenizing raw EEG followed by masked reconstruction pretraining. However, this recipe has been shown to be suboptimal for data, like EEG, with high noise amplitude and information confined to limited dimensions such as narrow frequency bands. Building on this insight, we develop a novel contrastive-pretrained EEG model with multiscale temporal convolution input layers and Transformer encoder blocks (CoCoT). CoCoT matches or beats state-of-the-art reconstruction-pretrained EEG models on extensive benchmark decoding tasks with heterogeneous electrode configurations. Furthermore, CoCoT trained from scratch outperforms previous single-task decoding models and even rivals pretrained models, showcasing the architecture's flexibility and data efficiency. Through systematic ablations, including model architecture and pretraining objective, we demonstrate the viability of contrastive learning for building EEG FMs while suggesting key architectural design considerations, prompting further investigations in alternative large-scale pretraining strategies.
• Abstract（参考訳）: 自己教師付き事前訓練基礎モデル(FM)は、非侵襲脳波(EEG)復号法を早期に提案している。 近年の大規模モデルの多くは、生の脳波をトークン化するアプローチに収束し、マスク付き再建事前訓練を行った。 しかし、このレシピは脳波などのデータに準最適であることが示されており、ノイズ振幅が高く、狭い周波数帯域のような限られた次元に限定されている。 この知見に基づいて,マルチスケールの時間的畳み込み入力層とトランスフォーマーエンコーダブロック(CoCoT)を備えた新しいコントラスト予測脳波モデルを構築した。 CoCoTは、異種電極構成を持つ広範囲なベンチマークデコードタスクにおいて、最先端の再構築済みのEEGモデルと一致または打ち勝つ。 さらに、CoCoTは、以前のシングルタスクのデコードモデルよりもスクラッチでトレーニングし、事前訓練されたモデルとさえ競合し、アーキテクチャの柔軟性とデータ効率を示している。 モデルアーキテクチャや事前学習の目的を含む体系的な改善を通じて,脳波FM構築のためのコントラスト学習の実現可能性を示すとともに,重要な設計上の考察を示唆し,大規模事前学習戦略のさらなる検討を促す。

関連論文リスト

• SpecMoE: Spectral Mixture-of-Experts Foundation Model for Cross-Species EEG Decoding [0.0]
  SpecMoEは、学習されたスペクトルゲーティングメカニズムによってガイドされるエキスパートフレームワークの混合である。 睡眠ステージング、感情認識、運動像分類、異常信号検出、薬物効果予測など、さまざまな脳波デコーディングタスクのセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-17T16:20:14Z)
• REVE: A Foundation Model for EEG -- Adapting to Any Setup with Large-Scale Pretraining on 25,000 Subjects [5.368295573908306]
  REVE(Representation for EEG with Versatile Embeddings)は、様々な脳波信号にまたがる一般化を意図した事前訓練モデルである。 我々は25,000人の被験者にまたがる92のデータセットから6万時間以上の脳波データをプレトレーニングしました。 我々は、標準化された脳波研究を支援し、臨床神経科学の進歩を促進するためのコード、事前訓練された体重、チュートリアルをリリースする。
  論文  参考訳（メタデータ） (2025-10-24T15:52:46Z)
• EEGDM: EEG Representation Learning via Generative Diffusion Model [17.595769291603688]
  生成拡散モデル(EEGDM)に基づく脳波表現学習フレームワークを提案する。 具体的には,拡散事前学習のための構造化状態空間モデルを開発し,DDPM(Denoising Diffusion Probabilistic Model)フレームワークを用いて学習を行った。 提案した潜時核融合変換器 (LFT) を用いた下流分類作業において, 得られた潜時脳波表現を用いた。
  論文  参考訳（メタデータ） (2025-08-13T14:40:52Z)
• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
  脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。 具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。 このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
  論文  参考訳（メタデータ） (2024-12-13T16:27:54Z)
• Exploring the design space of deep-learning-based weather forecasting systems [56.129148006412855]
  本稿では,異なる設計選択がディープラーニングに基づく天気予報システムに与える影響を系統的に分析する。 UNet、完全畳み込みアーキテクチャ、トランスフォーマーベースモデルなどの固定グリッドアーキテクチャについて検討する。 固定グリッドモデルの強靭な性能とグリッド不変アーキテクチャの柔軟性を組み合わせたハイブリッドシステムを提案する。
  論文  参考訳（メタデータ） (2024-10-09T22:25:50Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。